senior-data-scientist
作者 alirezarezvanisenior-data-scientist 是用於 Machine Learning 的 Claude skill，協助 A/B test 設計、因果推論、feature engineering 與表格型 ML 評估。可用來引導樣本數規劃、指標選擇、資料洩漏檢查、SHAP review，以及類似 MLflow 的追蹤流程；其中 scripts 屬於 scaffold templates，不是完整引擎。
此 skill 評分為 64/100，代表可以收錄，但應定位為涵蓋範圍較廣的 prompt-and-pattern skill，而非可直接上線使用的 data science toolkit。目錄使用者可以理解何時該呼叫它，也可能從 SKILL.md 取得有用的工作流程 scaffold；不過支援 scripts 與 references 過於通用，尚不足以建立高度信心。
- Frontmatter 的描述完整且容易觸發，涵蓋 A/B testing、causal inference、predictive modeling、feature engineering 與商業解讀等使用情境。
- SKILL.md 提供具體工作流程內容與 code snippets，包括樣本數計算與實驗分析模式，比一般 data science prompt 更有結構。
- Repository 包含用於 experiment design、feature engineering 與 model evaluation 的具名 references 和 scripts，顯示其工作流程涵蓋範圍；但實作深度並不一致。
- 支援檔案多半像是樣板內容：references 反覆強調通用的 production 原則，而不是針對統計領域的具體指引。
- scripts 看起來偏向 scaffold，包含「Add validation logic」這類 placeholder comments，以及通用處理方法；還不是完整的實驗、feature engineering 或模型評估工具。
senior-data-scientist skill 概覽
senior-data-scientist 適合用來做什麼
senior-data-scientist skill 是一個託管在 GitHub 上的 Claude skill，聚焦於統計建模、實驗設計、因果推論、特徵工程與預測模型評估。它最適合想讓 AI 助手以資深資料科學家的方式思考的使用者，例如規劃 A/B 測試、審查表格型資料的 ML 工作流程、選擇評估指標，或把模型結果轉化為商業決策。
最適合的使用者與工作情境
當你已經有明確的分析或 Machine Learning 問題，並需要結構化協助時，就適合使用這個 skill：樣本數規劃、雙比例檢定解讀、difference-in-differences 架構、特徵 pipeline 設計、交叉驗證策略、AUC-ROC 與 AUC-PR 的取捨、以 SHAP 進行解釋，或類似 MLflow 的實驗追蹤。最適合的情境是 senior-data-scientist for Machine Learning 用於結構化資料，尤其是分類、迴歸與受控實驗分析。
它和一般 prompt 有什麼不同
一般 prompt 可能只會產出較籠統的建議。senior-data-scientist skill 會給 agent 一個領域框架：實驗有效性、統計假設、特徵洩漏、評估設計，以及是否具備上線準備度。上游的 SKILL.md 包含偏程式碼導向的 A/B testing 與模型工作流程範例，而輔助檔案則提示了實驗設計、特徵工程與模型評估的 helper 方向。
導入前需要注意的限制
這不是一套完整、開箱即用的資料科學套件。scripts/ 裡的檔案看起來比較像 scaffold-style utilities，而不是已完成的統計引擎；references/ 檔案也偏高層次。安裝它的目的應該是取得 agent 指引與工作流程結構，而不是取代公式驗證、執行你自己的 notebooks，或與團隊一起審查統計假設。
如何使用 senior-data-scientist skill
senior-data-scientist 安裝與檔案檢視
從 repository 安裝：
npx skills add alirezarezvani/claude-skills --skill senior-data-scientist
安裝後，請先閱讀 SKILL.md，因為實際的工作流程內容主要在這個檔案裡。接著檢視 scripts/experiment_designer.py、scripts/feature_engineering_pipeline.py 與 scripts/model_evaluation_suite.py，了解它預期的自動化模式。請把 references/experiment_design_frameworks.md、references/feature_engineering_patterns.md 與 references/statistical_methods_advanced.md 視為導覽筆記，而不是權威文件。
讓 skill 更有用的輸入資訊
當你提供的是決策脈絡，而不只是技術名稱時，這個 skill 的表現最好。針對實驗，請提供 baseline rate、minimum detectable effect、traffic、assignment unit、primary metric、guardrail metrics、預期期間，以及是否涉及 multiple comparisons。針對 ML 工作，請提供 target definition、dataset grain、leakage risks、class balance、train/test split constraints、false positives 與 false negatives 的商業成本差異，以及 deployment environment。
較弱的 prompt：「Help me evaluate my model.」
較強的 prompt：「Use the senior-data-scientist skill to review a binary churn model. We have 1.2M customer-month rows, 7% positive rate, time-based split by signup month, XGBoost baseline, AUC-ROC 0.81, AUC-PR 0.29, and retention offers cost $40. Check leakage risks, metric choice, thresholding, calibration, and what to log in MLflow。」
實務上的 senior-data-scientist 使用流程
一開始先請 agent 在解題前重述假設。接著要求它提供計畫、計算或 pseudocode，以及驗證 checklist。若是 A/B test，請它把設計與分析分開：樣本數、randomization unit、eligibility、metric definition、power，接著才是 statistical test 與 interpretation。若是特徵工程，請要求一個能區分 raw fields、derived features、fit-only-on-training transformations、missing-value handling 與 monitoring 的 pipeline。若是模型選擇，請要求 cross-validation design、metric rationale、error analysis 與 production monitoring。
什麼時候用 scripts，什麼時候用 prompts
如果你想建立本機工具，並需要 logging、config loading 與流程結構，可以把 scripts 當成 templates 使用。不要假設它們能開箱完成完整的實驗設計、特徵工程或模型評估。對多數使用者而言，最直接的價值是在聊天中帶入豐富脈絡呼叫 skill，然後把產生的 Python、SQL 或 R code 改寫並整合到你自己已測試的環境中。
senior-data-scientist skill 常見問題
senior-data-scientist 適合初學者嗎？
它可以幫助初學者理解專業資料科學工作的輪廓，但它假設你能描述資料、指標與建模目標。如果你剛開始學統計，建議先請 agent 用白話說明假設與失敗模式，再請它產生程式碼。
這和直接請 Claude 幫忙資料科學有什麼不同？
這個 skill 會把 assistant 的注意力收斂到資深資料科學家會關心的問題：實驗設計、因果有效性、模型評估、特徵洩漏與商業解讀。相較於開放式 prompt，它更適合反覆出現的分析工作流程；但你仍然需要提供領域脈絡，並自行驗證輸出。
它可以執行完整的 Machine Learning pipelines 嗎？
不能單靠它完成。這個 repository 包含的是類似 scaffold 的 Python scripts 與工作流程範例，不是一套完整的 AutoML 或 MLOps platform。請使用 senior-data-scientist skill 來設計、檢視與產生 pipeline 的組件；實際執行與驗證則放在你自己的 Python、R、SQL、Scikit-learn、XGBoost 或 MLflow 環境中。
什麼情況下不該使用這個 skill？
不要把它當作受監管決策、臨床分析、金融風險模型，或識別基礎薄弱的因果主張的唯一依據。如果核心任務是 computer vision、speech，或大規模 neural architecture tuning 這類非結構化 deep learning 工作，而不是表格型分析與實驗設計，它也不是理想選擇。
如何改進 senior-data-scientist skill
用更好的 prompts 改善 senior-data-scientist 輸出
請提供資深審查者會要求的同等資訊：objective、data grain、time window、metric definitions、constraints、decision threshold，以及結果會導向什麼行動。你可以要求「assumptions, risks, recommended method, code sketch, and validation checks」，避免得到過於表面的回答。
常見失敗模式要留意
請特別注意 metric mismatch、target leakage、underpowered experiments、post-treatment bias、multiple-testing inflation、不適當的 randomization units，以及從 observational data 過度宣稱 causality。若第一版回答跳過這些問題，請明確要求 senior-data-scientist skill 稽核設計中的統計與營運風險。
第一版回答之後要持續迭代
不要停在第一個計畫。可以追問：「What would invalidate this conclusion?」、「What sensitivity checks should I run?」、「Which metric should be the primary decision metric?」、「How would this change with a 3% baseline rate?」，或「Show the SQL/Python validation queries I should run before modeling.」
在本機強化 repository
如果你會大量採用這個 skill，建議透過加入專案專屬 templates 來改進它：experiment intake forms、metric dictionaries、leakage checklists、model card formats、MLflow logging conventions，以及經過測試的 utility scripts。最大的升級，是把通用的 scaffold code 替換成已驗證、符合你團隊實際實驗、特徵與評估工作流程的 functions。