scrapfly-automation

scrapfly-automation skill 概览

scrapfly-automation 能做什么

scrapfly-automation skill 帮助 AI agent 通过 Composio 的 Rube MCP 连接执行与 Scrapfly 相关的网页抓取任务。它的核心价值不是内置一段爬虫脚本，而是一套操作模式：先发现当前 Scrapfly 工具 schema，检查认证状态，再安全地执行正确的 Rube tool calls，避免凭记忆猜参数。

适合 Scrapfly 和 MCP 用户的场景

如果你已经在使用 Claude 或其他支持 MCP 的客户端，希望用 agent 辅助完成 Scrapfly 工作流，并且更偏好有工具支撑的执行方式，而不是手写一段抓取 prompt，那么这个 skill 很适合。对于需要通过 Scrapfly 抓取页面，同时依赖 Composio/Rube 暴露可用 Scrapfly actions、inputs 和连接状态的用户，它尤其有用。

采用前的关键要求

最重要的前提是你已经有可用的 Rube MCP 设置。该 skill 需要 rube MCP server，并预期 RUBE_SEARCH_TOOLS 和 RUBE_MANAGE_CONNECTIONS 可用。你还需要在 Rube 中有一个处于可用状态的 Scrapfly connection。如果这些部分没有配置好，skill 可以解释工作流，但无法真正执行 Scrapfly 操作。

它与普通抓取 prompt 的区别

普通 prompt 可能会编造 Scrapfly 参数、跳过认证检查，或者默认使用过时的 API schema。scrapfly-automation 的差异点在于：每次都要求先搜索工具。这个步骤很关键，因为 Rube 会在 agent 尝试抓取之前返回当前的 tool slugs、input schemas、推荐执行计划和潜在坑点。

如何使用 scrapfly-automation skill

scrapfly-automation 的安装与设置路径

从 Composio skills repository 安装该 skill：

npx skills add ComposioHQ/awesome-claude-skills --skill scrapfly-automation

然后使用以下地址把 Rube MCP 添加到你的客户端配置中：

https://rube.app/mcp

之后，确认 RUBE_SEARCH_TOOLS 能正常响应。使用 RUBE_MANAGE_CONNECTIONS，并将 toolkit 设为 scrapfly，检查 Scrapfly connection 是否为 ACTIVE。如果 Rube 返回授权链接，请先完成授权流程，再让 agent 执行抓取任务。

这个 skill 需要你提供哪些输入

为了让 scrapfly-automation usage 更可靠，你需要向 agent 提供抓取目标、目标 URL 或 URL pattern、所需字段、输出格式和操作约束。较弱的请求是：“用 Scrapfly 抓取这个网站。”更好的请求是：“通过 Rube 使用 Scrapfly 获取 https://example.com/products，提取商品名称、价格、库存状态和 canonical URL，返回 JSON，避开仅登录可见的页面，并在执行前先发现当前 Scrapfly tool schema。”

这样可以帮助 agent 将你的意图映射到当前 Rube tools，而不是做没有依据的假设。

首次运行的推荐流程

建议先让 agent 检查该 skill 的 SKILL.md，然后按其中的流程操作：发现工具、检查连接、执行选定的 Scrapfly action，并审查结果。关键调用模式是结合你的具体用例运行 RUBE_SEARCH_TOOLS，而不是只用“Scrapfly operations”这种宽泛查询。例如，“fetch a rendered page”、“extract structured data from a URL” 或 “scrape multiple product pages” 会产生更相关的 schemas 和执行计划。

信任自动化之前应阅读的文件

该 skill 目前只在 composio-skills/scrapfly-automation 下提供一个 SKILL.md。请先阅读这个文件，因为它没有 helper scripts、rules folders、reference examples 或本地 metadata files 来进一步说明边界情况。缺少支持文件并不意味着不能使用，但这会让你的 prompt 和实时 Rube 工具发现步骤承担更多质量保障责任。

scrapfly-automation skill 常见问题

scrapfly-automation 适合 Web Scraping 新手吗？

如果新手已经配置好 MCP，它可以提供帮助，但它不是一份独立的爬虫入门教程。你应当理解 target URL、extraction fields、rendered content、pagination 和 output format 之间的区别。该 skill 能减少 tool-call 层面的猜测，但并不能替代你对抓取任务的清晰描述。

它包含 Scrapfly API 代码吗？

不包含。该 skill 不提供现成的 Python 或 JavaScript 爬虫。它会引导 agent 通过 Composio 的 Rube MCP tools 使用 Scrapfly。如果你想要直接的 SDK 代码，可能需要在检查当前 Scrapfly toolkit 文档和你的项目需求后，另行要求 agent 生成。

什么时候不应该使用这个 skill？

如果你无法启用 Rube MCP，无法通过 Rube 创建 Scrapfly connection，或者需要完全离线的工作流，就不要使用 scrapfly-automation。如果抓取请求很模糊，例如目标页面、所需字段和可接受输出都不明确，它也不适合。

它和普通 prompt 相比如何？

普通 prompt 适合用来规划或解释 Scrapfly 概念。scrapfly-automation skill 更适合你希望 agent 执行有工具支撑的操作时使用，因为它会强制在行动前进行 schema discovery 和 connection validation。这可以减少由过时假设导致的失败。

如何改进 scrapfly-automation skill 的使用效果

执行前先优化 prompt

提升 scrapfly-automation 结果的最快方式，是提供包含具体字段的任务说明：target URLs、期望的数据结构、分页规则、渲染需求、成功标准，以及需要跳过的内容。当成本、速度或安全性很重要时，加入诸如 “return only JSON”、“limit to 10 pages for the test” 或 “do not retry more than twice” 之类的约束。

把工具发现当作质量门

不要让 agent 直接跳到某个 Scrapfly action。要求它先展示 RUBE_SEARCH_TOOLS 返回的相关结果，指出选用的 tool slug，总结必填 inputs，并在执行前说明返回的 pitfalls。这样会形成一个检查点，帮助你尽早发现工具不匹配或参数缺失的问题。

需要留意的常见失败模式

大多数失败会来自 inactive connections、抓取目标描述不足、对 tool schemas 的过时假设，或者期待该 skill 自动绕过网站限制。如果首次运行失败，请让 agent 将问题拆分为 connection status、tool schema mismatch、request parameters、target page behavior 和 extraction logic 分别排查。

根据首次输出继续迭代

把第一次运行视为校准。检查返回内容是否包含你需要的字段，是否确实需要 rendered content，以及输出结构是否稳定到足以供下游使用。然后用正确和错误行的示例、缺失字段，或应排除的页面来细化 prompt。这样可以把 scrapfly-automation 指南变成可重复使用的工作流，而不是一次性的抓取尝试。