fact-checker

fact-checker 技能概览

fact-checker skill 是一套结构化提示工作流，用来核实具体主张、评估来源质量，并把事实性陈述与观点、带节奏的表述或缺失的上下文区分开。对于需要比一次性“这是真的吗？”更严谨的方法、又不想从零设计 Fact Checking 流程的用户来说，fact-checker 尤其合适。

fact-checker skill 实际能做什么

从核心能力看，fact-checker skill 会引导 agent 按照一套验证顺序执行：先锁定要核查的准确主张，再定义什么证据能证实或证伪它，接着评估现有来源，给出结论评级，并结合上下文解释结果。因此，在准确性、来源选择和推理透明度很重要的场景里，它比普通 research prompt 更实用。

谁适合安装这个 fact-checker skill

这个 fact-checker skill 很适合以下人群：

• 需要核查公开说法的研究人员和分析师
• 审阅草稿的记者、编辑和内容团队
• 政策、教育以及 trust-and-safety 工作流
• 评估病毒式传播数据、传言或引述言论的用户
• 想要稳定一致的事实核查方法，而不是临时想到什么就怎么问的人

最适合完成哪些任务

当你需要以下能力时，适合使用 fact-checker：

• 核实某个具体陈述、数字或因果性主张
• 判断某个来源在对应主题上是否足够权威
• 区分事实与解读
• 评估可信度，而不是强行给出非黑即白的 yes/no
• 解释为什么某个说法即使不完全错误，依然具有误导性

它和普通 prompt 的真正区别是什么

它的核心价值在于结构化。这个 skill 不是简单让模型“查一下事实”，而是明确规定模型该如何判断“是否可核实”：

• 在检索前先拆出具体主张
• 先判断需要哪些证据
• 优先使用权威来源或一手来源
• 考虑发布时间和具体语境
• 给出评级，并清晰表达不确定性

这套流程能减少含糊回答，也让输出更容易被审查和复核。

在决定采用前，最该关注什么

是否值得采用，关键不在安装本身，而在于你的场景是否真的需要纪律化的验证流程。如果你的团队经常处理含义模糊、政治化、时效性强，或来自社交平台的主张，fact-checker 很值得安装。如果你只是需要轻量的背景信息总结，普通 research prompt 可能就够用了。

如何使用 fact-checker skill

fact-checker 的安装方式与环境前提

如果你的 agent 环境支持从 GitHub 仓库安装 Skills，可以从 Shubhamsaboo/awesome-llm-apps 仓库安装 fact-checker，然后在任务中通过名字调用它，并明确说明你要做的是核查验证。

常见安装方式如下：

npx skills add Shubhamsaboo/awesome-llm-apps --skill fact-checker

如果你的环境使用的是其他 skill loader，也可以直接从这里复制该 skill：

awesome_agent_skills/fact-checker/SKILL.md

从仓库层面看，这个 skill 的证据链很少，但也足够清晰：主要实现就在 SKILL.md 中，没有额外脚本、规则文件或参考文件需要先检查。

先看这个文件

从这里开始：

• awesome_agent_skills/fact-checker/SKILL.md

这是判断是否值得采用的重要信号：这个 skill 是 prompt-driven，而不是 code-driven。你安装的是一套验证框架和输出行为规范，不是一整套附带辅助脚本的工具链。

fact-checker skill 需要什么输入

fact-checker usage 的效果，很大程度取决于你提供的输入质量。建议至少给出：

• 需要核查的准确主张
• 这个主张出现在哪里
• 相关引述原文或具体数字
• 日期或时间范围
• 主题领域背景，例如 health、politics、science、finance 或 history
• 你想要的输出形式，比如快速结论或证据备忘录

弱输入示例：

• “Fact check this.”

更好的输入示例：

• “Fact check this claim: ‘Country X’s inflation rate doubled in 2024.’ Check official statistics first, note the date range, and say whether the statement is accurate, misleading, or unsupported.”

如何把模糊请求改写成高质量的 fact-checker prompt

一个好的 fact-checker guide prompt，通常包含五部分：

1. 准确主张是什么
2. 采用什么证据标准
3. 优先使用哪些来源类型
4. 结论要按什么格式输出
5. 是否有范围限制

例如：

“Use the fact-checker skill to verify this claim: ‘A new study proved coffee dehydrates most adults.’ Distinguish the headline from the actual scientific claim, prefer peer-reviewed or major medical sources, note publication dates, and return: claim, evidence found, source quality, verdict, confidence, and missing context.”

之所以这样写更有效，是因为它为 skill 设定了明确边界，同时也定义了“什么证据算合格”。

fact-checker 工作流在实际中是怎么跑的

这个 skill 内置的流程很简单，但非常关键：

• 识别事实性主张
• 判断哪些证据能验证它
• 审查现有来源及其可信度
• 给主张评级
• 补充上下文与不确定性说明

在实际使用中，这意味着你不应该一次让它处理多个互不相关的主张，除非你接受结果会比较浅。想拿到更好的输出，最好先把长帖或长文拆成若干个可单独核查的主张。

复杂主张或病毒式传播内容的最佳 fact-checker 用法

面对社交平台帖子、标题党和 meme，建议使用“先拆分再核查”的提示方式：

“Use fact-checker for Fact Checking this post. First extract each distinct factual claim. Then verify them one by one, noting which are factual, which are opinion, and which depend on missing context.”

这点非常重要，因为很多误导性内容会把一个真实细节和一个错误结论混在一起。只有把每个子主张拆开单独验证，skill 的优势才能真正发挥出来。

可以期待什么样的输出

一个质量较高的 fact-checker 输出，通常应包含：

• 规范化后的主张
• 该主张属于事实、解读，还是按现有表述无法核实
• 需要哪些证据
• 对来源的评估
• 诸如 accurate、misleading、unsupported 或 false 的结论评级
• 可信度等级
• 会改变理解结果的重要上下文

如果你最终只得到一段泛泛而谈的文字，大概率是因为 prompt 太宽泛，或者没有明确要求结构化结论。

提升 fact-checker 使用效果的实用技巧

想让 fact-checker skill 给出更可靠的结果，可以这样做：

• 提供准确数字和单位，不要只给转述
• 明确地理范围和时间范围
• 要求模型把主张本身与周边修辞分开
• 先请求 primary source 或 authoritative source
• 加一句“what would disprove this claim?” 来降低确认偏误
• 明确要求它在上下文缺失时标注出来，而不是猜测补全

通常这些调整，比单纯把 prompt 写得更长更能提升可靠性。

什么时候该用 fact-checker，而不是 research skill

当你的目标是“裁定”而不是“探索”时，优先选 fact-checker。research 或 browsing skill 更适合广泛搜集信息；而当你需要基于证据质量和原始措辞做判断时，fact-checker 更合适。

一个实用的工作流是：

1. 先收集准确主张和上下文
2. 运行 fact-checker
3. 如果证据太薄，再做额外 research
4. 用更精确的主张表述和更好的来源重新跑一遍

使用边界与取舍

这个 skill 提供的是一套验证方法，不是真理保证器。它并不能神奇解决以下问题：

• 报道仍不完整的实时事件
• 需要专有数据才能验证的主张
• 以专家解释分歧为主的法律或科学争议
• 伪装成事实陈述的价值判断

这不是 skill 的缺陷，而是事实核查本身的天然边界。它最大的价值，在于把不确定性暴露出来，而不是把它藏进看起来很肯定的答案里。

fact-checker skill 常见问题

fact-checker 适合新手吗？

适合。fact-checker skill 对新手比较友好，因为它已经提供了清晰的验证顺序。你仍然需要提供具体主张，以及合理的来源预期，但不必自己从零搭方法论。

哪类主张最适合这个 skill？

最适合的情况包括：

• 统计数据和数字类主张
• 归属于某个人的引语
• “X happened” 这类时间线主张
• 在 policy、science、health 或 economics 场景里，有可核验证据支撑的陈述
• “这是不是误导？”这类会被上下文改变含义的情况

最不适合的情况包括：

• 纯观点
• 预测
• 道德论证
• 把宏大意识形态包装成事实的说法

它和直接问 AI “is this true?” 有什么区别？

fact-checker 的方法更有纪律性。普通 prompt 往往直接跳到结论；而这个 skill 会强制经过主张提取、证据标准设定、来源评估和可信度打分。这样通常能带来更透明的推理过程，也更少出现过度自信的总结。

需要 browsing 或外部工具吗？

这个 skill 本身只是 SKILL.md 里的 prompt workflow。它能否很好地核查实时信息，取决于你的 agent 环境是否提供了相应工具。没有 browsing 或 retrieval 时，它仍然可以分析主张结构和所需证据类型，但在实时验证上会明显变弱。

fact-checker 能处理 misinformation 和 disinformation 吗？

可以，尤其适合处理误导性 framing、糟糕来源，以及故意省略上下文这类问题。它之所以适合 misinformation detection，是因为它不会停留在“真或假”的二元判断上，还会继续看来源可信度、证据是否过时，以及上下文是否缺失。

什么情况下不该用这个 fact-checker skill？

以下情况建议跳过 fact-checker：

• 你只想要一个快速摘要
• 这句话明显只是观点
• 任务是开放式 research，而不是主张验证
• 你需要具有法律效力或行业认证的正式判断

在这些场景里，换一种工作流会更合适。

如何改进 fact-checker skill

给 fact-checker skill 更窄、更清晰的主张

提升 fact-checker 结果最快的方法，就是缩小主张范围。不要这样写：

“Fact check this whole article.”

可以改成：

“Extract the three strongest factual claims from this article and verify each separately.”

核查单元越小，证据匹配越准，也越不容易得到模糊结论。

明确证据层级

直接告诉 skill：哪些来源权重最高。例如：

• 官方统计
• peer-reviewed studies
• 直接 transcript 或 filings
• 公认的标准制定机构
• 只有在拿不到一手材料时，才使用靠谱的二手报道

这样可以避免把强弱来源混在一起，也能给模型更清晰的判断规则。

不只要支持证据，也要要求反证

Fact Checking 里一个很常见的失误，就是只收集支持性证据。你可以在 prompt 里加入：

• “What would disprove this?”
• “List the strongest evidence against the claim.”
• “Note where the claim overstates what the evidence shows.”

这会把 skill 推向更平衡的判断，而不是单边找依据。

强制区分事实、推断和观点

很多糟糕输出，都是因为原始表述里混合了：

• 一个可核查事实
• 一个解释性推断
• 一个带说服意图的结论

要求 skill 给每一部分打标签。对于 political posts、企业高管表态和耸动标题，这个方法尤其有效。

要求对日期敏感

很多主张之所以会核查失败，不是因为答案错，而是因为答案会随时间变化。可以在 prompt 中补充：

• 相关日期
• 这是历史性主张还是当前性主张
• 明确要求标记过时证据

例如：
“Verify this as of March 2025, and note if earlier reporting would have produced a different conclusion.”

改进 verdict 的输出格式

如果第一次输出很“糊”，就强制它用更紧的结构：

• Claim
• Checkability
• Best evidence
• Source quality
• Verdict
• Confidence
• Missing context

结构化输出会让 fact-checker guide 更容易审阅、横向比较，也更方便在编辑流程中复用。

需要重点留意的常见失败模式

最常见的问题包括：

• 核查的是转述，而不是原始措辞
• 把观点误当成事实主张
• 用过时来源去判断当前主张
• 忽略地理范围
• 在没有说明证据标准的情况下直接给主张评级

如果你发现这些问题，先改写 prompt，再重新运行，不要直接信第一次结果。

第一次回答后继续迭代

如果这个主张很重要，不要把第一次结果当成最终答案。可以继续追问：

• “What part of this verdict is least certain?”
• “What primary evidence is still missing?”
• “Would the verdict change under a narrower wording?”
• “Which source in your reasoning is weakest?”

这样做能把 fact-checker usage 从一次性回答，变成更可靠的复核循环。

按你的领域去适配这个 skill

如果你处理的是专业领域，可以在 prompt 里补充领域规则，进一步增强 skill：

• health：systematic reviews、监管机构指南、trial quality
• finance：filings、审计报告、官方发布
• science：研究设计、样本量、可重复性、共识状态
• policy：法案文本、机构文件、实施日期

fact-checker 的核心方法不变，但来源层级和证据标准应该随着领域一起调整。