senior-prompt-engineer
作者 alirezarezvanisenior-prompt-engineer 是一个不绑定具体模型的 Prompt Writing 技能，适用于以 eval 驱动的提示词优化、RAG 质量检查、agent 工作流验证，以及 token/成本预算。它包含参考资料，并提供用于提示词分析、RAG metrics 和 agent orchestration 的 Python tools。
该技能评分为 84/100。对于希望采用由评估驱动的提示工程流程，而不是泛泛提示词清单的目录用户来说，它是一个扎实的收录候选。该 repository 提供了清晰的触发条件、具体的操作规则、实用脚本和配套参考资料；不过，如果能补充明确的 quick start 和更清晰的安装说明，上手会更容易。
- 触发场景覆盖充分：frontmatter 明确包含提示词优化、eval sets、RAG 质量、agent/tool 验证、结构化输出以及 token/成本预算。
- 操作流程有实质内容：SKILL.md 包含先建立 baseline 再迭代、先准备 eval set 再优化，以及优先使用平台原生结构化输出而非 prompt hacks 等规则。
- 配套资产实用：三个基于 stdlib 的 Python tools 分别用于提示词分析/优化、RAG 评估和 agent workflow 验证，并配有关于 prompt patterns、evaluation frameworks 和 agentic system design 的参考文档。
- 技能路径中没有提供安装命令或 README，因此用户可能需要根据 SKILL.md 和脚本用法示例自行判断如何安装或调用随附脚本。
- 评估脚本看起来有意保持轻量且不绑定模型，主要依赖词汇重合、按字符估算 token 等近似方法，而不是使用供应商原生评估器或 embeddings。
senior-prompt-engineer skill 概览
senior-prompt-engineer 适合做什么
senior-prompt-engineer 是一个不绑定特定模型的 Claude skill，面向严肃的 Prompt Writing 工作：基于 baseline 改进 prompt、构建 prompt template、评估 LLM 输出、检查 RAG 检索质量、验证 agent/tool 工作流，以及估算 token 或成本影响。它最适合那些希望把 prompt engineering 当作工程流程来做，而不是只想“一次性改写一下 prompt”的用户。
最适合的用户和任务
如果你在维护生产环境 prompt、对比 prompt 变体、创建结构化输出契约、测试 RAG pipeline，或设计会调用 tools 的 agent，就适合安装这个 skill。最匹配的人群包括 developer、AI product builder、prompt engineer，或技术运营人员；前提是你能提供 sample inputs、expected outputs、retrieval contexts，或 agent configuration files。
核心差异
它和普通 prompt 建议最大的区别，是以 eval-first 为核心的工作方式。这个 skill 明确不鼓励“凭感觉优化”，而是要求你在修改 prompt 之前先记录 baseline。它还包含三个基于 Python stdlib 的工具：prompt_optimizer.py 用于 prompt 分析，rag_evaluator.py 用于检索与 groundedness 检查，agent_orchestrator.py 用于工作流验证。
安装前需要了解
这个 skill 很实用，但不是魔法。它不附带完整的托管式评测平台，不内置 provider pricing，也不能替代 JSON schema enforcement 或 tool-use APIs 这类平台原生能力。它的价值在于为你的 AI assistant 提供结构化工作流、参考材料和本地辅助脚本，让 prompt 决策更可靠。
如何使用 senior-prompt-engineer skill
senior-prompt-engineer 安装方式与优先阅读文件
使用以下命令安装：
npx skills add alirezarezvani/claude-skills --skill senior-prompt-engineer
上游路径是 engineering-team/skills/senior-prompt-engineer。安装后，先阅读 SKILL.md，了解运行规则和触发条件。然后查看：
references/prompt_engineering_patterns.md：prompt 模式和示例references/llm_evaluation_frameworks.md：指标选择和 eval 设计references/agentic_system_design.md：ReAct、plan-and-execute、tool use 和 multi-agent 模式scripts/prompt_optimizer.pyscripts/rag_evaluator.pyscripts/agent_orchestrator.py
哪些输入能让 skill 发挥得更好
想更好地使用 senior-prompt-engineer，不要只对 assistant 说“帮我把这个 prompt 改好”。你应该提供当前 prompt、任务目标、目标模型或 provider 限制、可用的 10–20 个代表性测试用例、预期输出格式、已知失败示例，以及 latency、token budget 或成本方面的限制。
一个较弱的请求是：
Improve this support bot prompt.
一个更好的请求是：
Use senior-prompt-engineer to improve this support triage prompt. Baseline failures: it misclassifies billing refunds as technical issues and often omits escalation reasons. Required output is JSON with
category,priority,escalation_reason, andconfidence. Here are 12 labeled examples and 3 bad outputs from production. Keep the prompt under 900 tokens.
prompt 优化的实用工作流
一开始应让 assistant 先分析现有 prompt，而不是立刻重写。这个 skill 的运行规则是先记录 baseline。你可以运行：
python scripts/prompt_optimizer.py prompt.txt --analyze --output baseline.json
然后基于具体失败点要求生成修订版 prompt，并把新版本与 baseline 对比。如果你需要关注 token 或成本，请自行传入模型标签和当前 provider pricing：
python scripts/prompt_optimizer.py prompt.txt --tokens --model claude --price-per-mtok 3.00
当你的平台支持原生结构化输出能力时，应优先使用它们。这个 skill 的指导原则是把 “respond only with JSON” 视为兜底方案，而不是首选契约。
用于 RAG 和 agent 工作流
做 RAG evaluation 时，先准备包含 questions 和 retrieved contexts 的 JSON 文件，然后运行：
python scripts/rag_evaluator.py --contexts contexts.json --questions questions.json --output report.json --verbose
当你需要 relevance、coverage、Precision@K、Recall@K、MRR、NDCG、faithfulness 或 groundedness 信号时，可以使用它。对于 agents，请提供 YAML 或 JSON 配置，描述 tools、pattern、max iterations、system prompt 和 expected flow。然后进行验证或可视化：
python scripts/agent_orchestrator.py agent.yaml --validate
python scripts/agent_orchestrator.py agent.yaml --visualize --format mermaid
这有助于在部署前发现缺失的 tools、不安全循环、不清晰的 orchestration，以及粗略的 token 使用问题。
senior-prompt-engineer skill 常见问题
senior-prompt-engineer 只适用于 Claude 吗？
不是。这个 skill 是为 Claude skill 使用场景编写的，但其中的 prompt engineering 方法和脚本不绑定具体模型。工具可以接受任意 model names 用于信息性估算，并避免硬编码 model IDs 或过期的 pricing tables。
它和直接要求“帮我写个更好的 prompt”有什么不同？
通用的 prompt 改写通常更偏向可读性优化。senior-prompt-engineer skill 则基于证据优化：baseline behavior、eval cases、output contracts、retrieval metrics 和 workflow constraints。对于一致性很重要的生产环境 prompt，这种方式更合适。
新手可以使用这个 skill 吗？
可以，但新手应先阅读 references/prompt_engineering_patterns.md，再开始做评估。这个 skill 默认你能够描述任务、提供示例，并判断输出是否满足要求。如果你还没有任何示例，建议先让 assistant 帮你设计一个小型 eval set。
什么时候不应该使用它？
不要把这个 skill 用在随手一次性的写作 prompt、评价高度主观的创意脑暴，或无法提供示例、约束和成功标准的场景中。它也不能替代 provider-native structured output、moderation、tracing 或 production observability。
如何改进 senior-prompt-engineer skill 的使用效果
用更好的 baseline 提升 senior-prompt-engineer 结果
提升 senior-prompt-engineer 结果最快的方法，是提供真实 baseline：当前 prompt、当前输出、失败标签和期望输出。要求 assistant 保留已经有效的部分，只针对失败类别进行优化。这样可以避免大幅重写后看起来更清爽，却让关键行为退化。
构建更强的 eval sets
至少使用 10–20 个用例，但重点是代表性，而不是简单。应包含正常用例、边界用例、模糊用例、对抗性输入，以及过去失败过的示例。对于 extraction 或 classification，提供 expected labels。对于 generation，提供评分标准，例如 accuracy、completeness、tone、citation use 或 schema validity。
避免常见失败模式
常见问题包括：还没定义成功标准就开始优化；把多个任务混进同一个 prompt；用 prompt 文本去保证本应由 APIs 处理的约束；只衡量最终答案质量，却忽略 retrieval 或 tool selection。如果输出不稳定，应把 instruction design、examples、schema、retrieval quality 和 agent control flow 分开排查，而不是一次性把所有东西都改掉。
首次输出后继续迭代
第一次修订后，不要立刻上线。运行同一套 eval set，与 baseline.json 对比，检查 regressions，并要求进行有针对性的第二轮修改。一个好的后续请求是：
Compare the revised prompt against the baseline. Keep improvements that reduce refund misclassification, but fix the two regressions where technical tickets lost required escalation reasons. Do not increase the prompt by more than 100 tokens.