网页抓取

浏览 数据处理 下与 网页抓取 相关的 Agent Skill,并比较相近工作流、工具与使用场景。

41 个技能
A
data-scraper-agent

作者 affaan-m

data-scraper-agent 可帮助你搭建可重复使用的公开数据管道,用于网页抓取、数据丰富和存储。它面向按计划持续监控任务、价格、新闻、仓库、体育和列表信息,可结合 GitHub Actions 定时运行,并将结果输出到 Notion、Sheets 或 Supabase。更适合长期跟踪,不适合一次性提取。

网页抓取
收藏 0GitHub 156.1k
B
remote-browser

作者 browser-use

remote-browser 可帮助受沙箱限制的 agent 控制无头浏览器,用于 Browser Automation。你可以用它打开页面、检查当前状态、点击带索引的元素、输入内容、截取截图,并连接本地应用或基于 CDP 的浏览器会话。

浏览器自动化
收藏 0GitHub 84.9k
B
browser-use

作者 browser-use

browser-use 是一项用于浏览器自动化的技能,可用于打开页面、检查当前状态、点击带索引的元素、在输入框中键入内容、截取截图,并复用持久化浏览器会话。通过 browser-use CLI,它适合完成稳定的表单填写、页面导航以及需要登录状态的工作流。

浏览器自动化
收藏 0GitHub 84.9k
C
zyte-api-automation

作者 ComposioHQ

zyte-api-automation 可帮助 agent 通过 Composio Rube MCP 运行 Zyte API 工作流:发现当前工具 schema、检查 zyte_api connection,并以更少猜测执行 Web Scraping 任务。

网页抓取
收藏 0GitHub 67.5k
C
zenserp-automation

作者 ComposioHQ

zenserp-automation 可帮助 agent 通过 Composio Rube MCP 执行 Zenserp 任务。你可以用它连接 Zenserp,先发现当前工具 schema,再收集用于 SEO 研究的 SERP 数据。

SEO 研究
收藏 0GitHub 67.5k
C
webscraping-ai-automation

作者 ComposioHQ

webscraping-ai-automation 是一个用于通过 Composio 的 Rube MCP 进行 Web Scraping 的 Claude skill,提供设置检查、工具发现以及以 schema 为先的使用指导。

网页抓取
收藏 0GitHub 67.5k
C
serpdog-automation

作者 ComposioHQ

serpdog-automation 可帮助 agent 通过 Composio Rube MCP 运行 Serpdog 任务:发现当前工具 schema、检查 serpdog 连接,并以更少猜测执行 SEO/SERP 研究工作流。

SEO 研究
收藏 0GitHub 67.5k
C
scrapingbee-automation

作者 ComposioHQ

scrapingbee-automation 可帮助 agent 通过 Composio Rube MCP 运行 ScrapingBee 网页抓取任务:先发现当前工具 schema,检查 ScrapingBee 连接状态,再执行更安全的工作流。

网页抓取
收藏 0GitHub 67.5k
C
scrapingant-automation

作者 ComposioHQ

scrapingant-automation 可帮助 agent 通过 Composio Rube MCP 运行 Scrapingant 任务:先发现实时工具 schema,检查 scrapingant 连接,再执行合适的工具。它适用于基于 MCP 的 Web Scraping 工作流,而不是独立的 scraper 脚本。

网页抓取
收藏 0GitHub 67.5k
C
scrapfly-automation

作者 ComposioHQ

scrapfly-automation 可帮助 agent 通过 Composio Rube MCP 运行 Scrapfly 网页抓取任务:发现当前可用 tools、检查 Scrapfly connection,并避免使用过期 schemas。

网页抓取
收藏 0GitHub 67.5k
C
scrapegraph-ai-automation

作者 ComposioHQ

scrapegraph-ai-automation skill 指南:了解如何通过 Composio Rube MCP 使用 Scrapegraph AI,包括设置 MCP 连接、用 RUBE_SEARCH_TOOLS 发现当前 schemas,并运行网页抓取工作流。

网页抓取
收藏 0GitHub 67.5k
C
PhantomBuster Automation

作者 ComposioHQ

PhantomBuster Automation 帮助 Claude 通过 Composio MCP 操作 PhantomBuster,用于列出 agents 和 scripts、监控配额、查看运行记录,并支持受控的网页抓取或线索生成工作流。

网页抓取
收藏 0GitHub 67.5k
C
parsehub-automation

作者 ComposioHQ

parsehub-automation 是一份 Claude skill 指南,用于通过 Composio Rube MCP 运行 ParseHub 工作流。它涵盖设置背景、RUBE_SEARCH_TOOLS 工具发现、连接检查,以及 Web Scraping 任务中的安全使用模式。

网页抓取
收藏 0GitHub 67.5k
C
hyperbrowser-automation

作者 ComposioHQ

hyperbrowser-automation 可帮助 agent 通过 Composio Rube MCP 运行 Hyperbrowser 工作流:先发现当前工具 schema,检查 Hyperbrowser 连接状态,然后执行浏览器自动化任务。

浏览器自动化
收藏 0GitHub 67.5k
C
Firecrawl Automation

作者 ComposioHQ

Firecrawl Automation 可帮助 Claude Code 通过 Composio 运行 Firecrawl,用于抓取页面、爬取网站、提取结构化数据、批量处理 URL,并以限定范围、关注额度消耗的工作流绘制站点结构。

网页抓取
收藏 0GitHub 67.5k
C
diffbot-automation

作者 ComposioHQ

diffbot-automation 帮助 Claude 通过 Composio Rube MCP 使用 Diffbot:发现最新 tool schemas、检查 Diffbot connection,并更安全地运行结构化网页数据任务。

网页抓取
收藏 0GitHub 67.5k
C
browseai-automation

作者 ComposioHQ

browseai-automation 帮助 Claude 通过 Composio Rube MCP 运行 Browse AI 工作流,并在执行前强制进行工具发现、连接检查并获取最新 schemas。

浏览器自动化
收藏 0GitHub 67.4k
C
brightdata-automation

作者 ComposioHQ

brightdata-automation 可帮助 agent 通过 Composio Rube MCP 运行 Bright Data 工作流:发现当前工具 schema、检查 Bright Data 连接,并在更少猜测的情况下执行任务。

网页抓取
收藏 0GitHub 67.4k
C
Apify Automation

作者 ComposioHQ

Apify Automation 是一个用于网页抓取的 Claude skill,可通过 Composio 运行 Apify Actors:连接 MCP,执行同步或异步抓取任务,获取 datasets,创建 tasks,并查看 logs。

网页抓取
收藏 0GitHub 67.4k
C
agentql-automation

作者 ComposioHQ

agentql-automation 可帮助 Claude 通过 Composio Rube MCP 运行 AgentQL 浏览器自动化,并提供以 schema 优先的工具发现、连接检查和更安全的执行步骤。

浏览器自动化
收藏 0GitHub 67.4k
A
browser-automation

作者 alirezarezvani

browser-automation 可帮助 agents 构建基于 Playwright 的工作流,覆盖抓取、表单填写、截图、下载、会话处理和结构化数据提取。它包含 recipes、API references 和 helper scripts,面向生产级浏览器自动化,而不是 E2E testing。

浏览器自动化
收藏 0GitHub 22.2k
J
baoyu-url-to-markdown

作者 JimLiu

baoyu-url-to-markdown 可借助内置的 baoyu-fetch CLI,将在线 URL 转为 Markdown,支持 Chrome CDP、站点适配器以及通用回退方案。适合在安装前了解 Bun 运行时要求、首次使用所需的 EXTEND.md 配置,以及处理 X、YouTube、Hacker News 和需渲染页面时的具体用法。

格式转换
收藏 0GitHub 13.2k
H
huggingface-datasets

作者 huggingface

在 Hugging Face Dataset Viewer API 工作流中使用 huggingface-datasets 技能,用于校验数据集、解析 splits、预览和分页行、搜索文本、应用过滤器,以及获取 parquet 链接或统计信息。它是一份面向只读数据集探索的实用 huggingface-datasets 指南。

网页抓取
收藏 0GitHub 10.4k
T
burpsuite-project-parser

作者 trailofbits

burpsuite-project-parser 使用 Burp Suite Professional 和 burpsuite-project-file-parser 扩展,在 Burp Suite 项目文件(.burp)中搜索并提取数据。适用于安全审计发现、代理历史记录、站点地图条目,以及对已捕获 HTTP 流量进行正则搜索。

安全审计
收藏 0GitHub 5k