senior-prompt-engineer
作者 alirezarezvanisenior-prompt-engineer 是一個不綁定特定模型的 Prompt Writing skill，適合用於評估驅動的 prompt optimization、RAG 品質檢查、agent workflow validation，以及 token/cost budgeting。內含參考資料，並提供可用於 prompt analysis、RAG metrics 與 agent orchestration 的 Python tools。
此 skill 評分為 84/100，代表它很適合收錄給想採用評估導向 prompt engineering 工作流程的目錄使用者，而不是只需要一般提示詞檢查清單的人。此 repository 提供清楚的觸發情境、具體操作規則、實用腳本與參考資料；不過若能補上明確 quick start 與更清楚的安裝指引，會更容易導入。
- 觸發條件相當明確：frontmatter 清楚涵蓋 prompt optimization、eval sets、RAG quality、agent/tool validation、structured outputs，以及 token/cost budgeting。
- 操作流程具備實用深度：SKILL.md 納入 baseline-first iteration、eval-set-before-optimization，以及優先使用平台原生 structured outputs、避免用 prompt hacks 硬補等規則。
- 支援資源完整實用：三個 stdlib Python tools 分別處理 prompt analysis/optimization、RAG evaluation 與 agent workflow validation，並搭配 prompt patterns、evaluation frameworks 和 agentic system design 的參考文件。
- skill 路徑中沒有安裝指令或 README，因此使用者可能需要從 SKILL.md 與腳本使用範例自行推斷如何安裝或呼叫內建腳本。
- 這些評估腳本看起來刻意保持輕量且不綁定特定模型，主要依賴詞彙重疊、每 token 字元數估算等近似方法，而不是供應商原生 evaluator 或 embeddings。
senior-prompt-engineer skill 概覽
senior-prompt-engineer 適合用來做什麼
senior-prompt-engineer 是一個不綁定特定模型的 Claude skill，適合嚴肅的 Prompt Writing 工作：用基準線改善 prompt、建立 prompt templates、評估 LLM 輸出、檢查 RAG 檢索品質、驗證 agent/tool 工作流程，以及估算 token 或成本影響。它最適合想把 prompt engineering 當成工程流程，而不是一次性改寫請求來處理的使用者。
最適合的使用者與工作情境
如果你正在維護 production prompts、比較 prompt variants、建立 structured-output contracts、測試 RAG pipeline，或設計會呼叫 tools 的 agent，就適合安裝這個 skill。最契合的使用者通常是 developer、AI product builder、prompt engineer，或能提供 sample inputs、expected outputs、retrieval contexts、agent configuration files 的 technical operator。
主要差異點
它和一般 prompt 建議最大的不同，在於 eval-first 的工作方式。這個 skill 明確不鼓勵靠「感覺」最佳化，而是要求你在修改 prompt 之前先記錄 baseline。它也包含三個只使用 Python stdlib 的工具：prompt_optimizer.py 用於 prompt 分析、rag_evaluator.py 用於檢索與 groundedness 檢查，以及 agent_orchestrator.py 用於 workflow validation。
安裝前需要知道的事
這個 skill 很實用，但不是魔法。它沒有內建完整的託管式 evaluation platform，也沒有硬編碼 provider pricing，更不會取代 JSON schema enforcement 或 tool-use APIs 這類原生平台功能。它的價值在於為你的 AI assistant 提供結構化工作流程、參考資料，以及可在本機執行的輔助 scripts，讓 prompt 決策更可靠。
如何使用 senior-prompt-engineer skill
senior-prompt-engineer 安裝方式與優先閱讀檔案
使用以下指令安裝：
npx skills add alirezarezvani/claude-skills --skill senior-prompt-engineer
上游路徑是 engineering-team/skills/senior-prompt-engineer。安裝後，先閱讀 SKILL.md，了解操作規則與觸發條件。接著檢視：
references/prompt_engineering_patterns.md：prompt patterns 與範例references/llm_evaluation_frameworks.md：metric 選擇與 eval 設計references/agentic_system_design.md：ReAct、plan-and-execute、tool use，以及 multi-agent patternsscripts/prompt_optimizer.pyscripts/rag_evaluator.pyscripts/agent_orchestrator.py
讓 skill 發揮效果的輸入內容
要有效使用 senior-prompt-engineer，不要只丟一句「讓這個 prompt 更好」。請提供目前的 prompt、任務目標、目標模型或 provider 限制、如有可用的 10–20 個代表性 test cases、預期輸出格式、已知失敗案例，以及 latency、token budget 或成本上的限制。
較弱的請求是：
Improve this support bot prompt.
更好的請求是：
Use senior-prompt-engineer to improve this support triage prompt. Baseline failures: it misclassifies billing refunds as technical issues and often omits escalation reasons. Required output is JSON with
category,priority,escalation_reason, andconfidence. Here are 12 labeled examples and 3 bad outputs from production. Keep the prompt under 900 tokens.
Prompt 最佳化的實務流程
一開始先請 assistant 分析現有 prompt，不要立刻改寫。這個 skill 的操作規則是先建立 baseline。你可以執行：
python scripts/prompt_optimizer.py prompt.txt --analyze --output baseline.json
接著再根據具體失敗情境要求 revised prompt，並將新版本和 baseline 比較。如果需要納入 token 或成本考量，請自行提供 model label 和目前 provider pricing：
python scripts/prompt_optimizer.py prompt.txt --tokens --model claude --price-per-mtok 3.00
當你的平台支援原生 structured output features 時，應優先使用它們。這個 skill 的指引把「respond only with JSON」視為備用做法，而不是首選的輸出契約。
用於 RAG 與 agent workflows
進行 RAG evaluation 時，先準備 questions 與 retrieved contexts 的 JSON 檔，然後執行：
python scripts/rag_evaluator.py --contexts contexts.json --questions questions.json --output report.json --verbose
當你需要 relevance、coverage、Precision@K、Recall@K、MRR、NDCG、faithfulness，或 groundedness 訊號時，可以使用這個流程。針對 agents，請提供 YAML 或 JSON configuration，描述 tools、pattern、max iterations、system prompt，以及 expected flow。接著進行驗證或視覺化：
python scripts/agent_orchestrator.py agent.yaml --validate
python scripts/agent_orchestrator.py agent.yaml --visualize --format mermaid
這能在部署前協助抓出 missing tools、不安全的 loops、不清楚的 orchestration，以及粗略的 token usage 問題。
senior-prompt-engineer skill 常見問題
senior-prompt-engineer 只能用於 Claude 嗎？
不是。這個 skill 是為 Claude skill usage 撰寫，但 prompt engineering 方法與 scripts 都不綁定特定模型。工具可以接受任意 model names 作為資訊性估算用途，並避免硬編碼 model IDs 或過期的 pricing tables。
它和請 AI 幫我寫一個更好的 prompt 有什麼不同？
一般的 prompt rewrite 通常會優先改善可讀性。senior-prompt-engineer skill 則是根據證據來最佳化：baseline behavior、eval cases、output contracts、retrieval metrics，以及 workflow constraints。這讓它更適合一致性很重要的 production prompts。
初學者可以使用這個 skill 嗎？
可以，但初學者應先閱讀 references/prompt_engineering_patterns.md，再開始跑 evaluations。這個 skill 假設你能描述任務、提供範例，並判斷輸出是否符合需求。如果你手上沒有範例，請先請 assistant 協助設計一小組 eval set。
什麼時候不該使用它？
不要把這個 skill 用在隨手一次性的 writing prompts、評估高度主觀的 creative brainstorming，或無法提供 examples、constraints、success criteria 的情境。它也不是 provider-native structured output、moderation、tracing，或 production observability 的替代品。
如何改善 senior-prompt-engineer skill
用更好的 baseline 改善 senior-prompt-engineer 成果
改善 senior-prompt-engineer 成果最快的方法，是提供真實 baseline：目前的 prompt、目前輸出、failure labels，以及 desired outputs。請 assistant 保留已經有效的部分，只針對失敗類型修正。這可以避免產生看起來更乾淨、卻讓重要行為退步的大幅改寫。
建立更強的 eval sets
至少使用 10–20 個 cases，但重點是具代表性，而不是挑簡單題。納入一般案例、邊界案例、模糊案例、對抗性輸入，以及過去曾失敗的例子。若是 extraction 或 classification，請包含 expected labels。若是 generation，請包含 scoring criteria，例如 accuracy、completeness、tone、citation use，或 schema validity。
避免常見失敗模式
常見問題包括：還沒定義成功標準就開始最佳化、把多個任務混在同一個 prompt、仰賴 prompt 文字保證其實應由 APIs 處理的行為，以及只衡量最終答案品質、卻忽略 retrieval 或 tool selection。如果輸出不穩定，請分開檢查 instruction design、examples、schema、retrieval quality，以及 agent control flow，不要一次改動所有東西。
第一次輸出後繼續迭代
第一次修訂後，不要立刻上線。請用同一組 eval set 測試，和 baseline.json 比較，檢查 regressions，並要求進行有針對性的第二輪修正。好的 follow-up 可以是：
Compare the revised prompt against the baseline. Keep improvements that reduce refund misclassification, but fix the two regressions where technical tickets lost required escalation reasons. Do not increase the prompt by more than 100 tokens.