网页抓取

瀏覽 資料處理 下與 网页抓取 相關的 Agent Skill,並比較相近工作流、工具與使用情境。

23 個技能
A
data-scraper-agent

作者 affaan-m

data-scraper-agent 協助建立可重複執行的公開資料流程,用於網頁爬取、資料增補與儲存。它適合搭配 GitHub Actions 依排程監控工作、價格、新聞、repo、體育賽事與清單,並將結果輸出到 Notion、Sheets 或 Supabase。最適合持續追蹤,不適合一次性擷取。

网页抓取
收藏 0GitHub 156.1k
B
remote-browser

作者 browser-use

remote-browser 可讓受沙箱限制的代理控制無頭瀏覽器,執行 Browser Automation。你可以用它開啟頁面、檢查目前狀態、點擊帶索引的元素、輸入內容、擷取螢幕截圖,並連線到本機應用程式或支援 CDP 的瀏覽器工作階段。

瀏覽器自動化
收藏 0GitHub 84.9k
B
browser-use

作者 browser-use

browser-use 是一款用於瀏覽器自動化的技能,可開啟頁面、檢查目前狀態、點擊已編號元素、在欄位中輸入內容、擷取螢幕畫面,並重用持續性的瀏覽器工作階段。若你需要透過 browser-use CLI 穩定完成表單填寫、頁面導覽或登入後流程,這項技能很適合納入評估。

瀏覽器自動化
收藏 0GitHub 84.9k
J
baoyu-url-to-markdown

作者 JimLiu

baoyu-url-to-markdown 可透過內建的 baoyu-fetch CLI,搭配 Chrome CDP、網站 adapter 與通用 fallback,將即時 URL 轉成 Markdown。使用前建議先確認 Bun 執行環境需求、首次 EXTEND.md 設定流程,以及在 X、YouTube、Hacker News 和需渲染頁面上的實際用法。

格式转换
收藏 0GitHub 13.2k
H
huggingface-datasets

作者 huggingface

使用 huggingface-datasets 技能來處理 Hugging Face Dataset Viewer API 工作流程:驗證資料集、解析 splits、預覽與分頁列資料、搜尋文字、套用篩選條件,並取得 parquet 連結或統計資訊。這是一份實用的 huggingface-datasets 指南,適合只讀的資料集探索。

网页抓取
收藏 0GitHub 10.4k
T
burpsuite-project-parser

作者 trailofbits

burpsuite-project-parser 會透過 Burp Suite Professional 與 burpsuite-project-file-parser extension,搜尋並擷取 Burp Suite 專案檔(.burp)中的資料。適合用來查找資安稽核發現、proxy history、site map 項目,以及在已擷取的 HTTP 流量中做 regex 搜尋。

安全稽核
收藏 0GitHub 5k
S
web-to-markdown

作者 softaworks

web-to-markdown 是一個用於格式轉換的 skill,可透過本機 `web2md` CLI,將即時網頁整理成乾淨的 Markdown;面對 JS 渲染頁面、互動式流程與批次 URL 轉換時,會搭配 Chromium 系列瀏覽器處理。只有在明確以名稱呼叫時才會執行。

格式转换
收藏 0GitHub 1.3k
D
query

作者 duckdb

query 技能可對已連結的資料庫執行 DuckDB 查詢,也可直接對檔案查詢。它支援 SQL 與自然語言問題,並提供 session 與 ad-hoc 兩種模式,適合用於資料分析、快速檢查,以及搭配 DuckDB Friendly SQL 進行反覆查詢工作。

数据分析
收藏 0GitHub 443
F
firecrawl-agent

作者 firecrawl

firecrawl-agent 可從複雜、跨多頁的網站擷取結構化 JSON。本文說明什麼情況適合使用、如何執行 Firecrawl CLI agent、加入 schema、設定起始 URLs,並將輸出保存為定價、商品與目錄型資料擷取結果。

网页抓取
收藏 0GitHub 234
F
firecrawl-browser

作者 firecrawl

firecrawl-browser 是 Firecrawl 的互動式網頁自動化技能。它已不再建議作為獨立瀏覽器指令使用,目前官方引導改用 `firecrawl scrape` 搭配 `firecrawl interact`,處理點擊、表單填寫、登入流程、分頁,以及高度依賴 JavaScript 的頁面。

瀏覽器自動化
收藏 0GitHub 234
F
firecrawl

作者 firecrawl

firecrawl skill 可協助你安裝、驗證並使用官方 Firecrawl CLI,進行網頁擷取、搜尋、爬取與頁面互動。內容涵蓋安裝設定、`firecrawl --status`、登入流程、將輸出安全寫入 `.firecrawl/`,以及依據 repo 整理的實用使用模式。

网页抓取
收藏 0GitHub 234
F
firecrawl-crawl

作者 firecrawl

firecrawl-crawl 可協助代理程式以批次方式擷取整個網站或文件區段的內容,並支援路徑篩選、深度限制、頁數上限、wait 模式,以及工作狀態查詢。

网页抓取
收藏 0GitHub 234
F
firecrawl-download

作者 firecrawl

firecrawl-download 可協助你把整個網站或文件區段下載成整理好的本機檔案,輸出到 `.firecrawl/` 目錄下。它結合網站地圖探索與內容擷取,支援 markdown、連結與截圖,適合用來建立離線文件副本、批次保存頁面,以及處理實務上的 Web Scraping 工作流程。

网页抓取
收藏 0GitHub 234
F
firecrawl-search

作者 firecrawl

firecrawl-search 是一個用於網頁研究的 skill,可協助找資料來源、執行結構化搜尋,並透過 Firecrawl CLI 視需要將完整頁面內容擷取為 JSON。

Web 研究
收藏 0GitHub 234
F
firecrawl-map

作者 firecrawl

firecrawl-map 可協助代理在深入 scraping 或 crawling 前,先探索並列出網站上的 URL,並支援搜尋篩選、筆數限制、JSON 輸出、sitemap 模式與子網域控制等選項。

网页抓取
收藏 0GitHub 234
F
firecrawl-scrape

作者 firecrawl

firecrawl-scrape 可從已知 URL 擷取乾淨、適合 LLM 使用的內容,也支援經 JavaScript 渲染的頁面。可透過 Firecrawl CLI 或 `npx firecrawl` 抓取 markdown、連結,或取得針對特定頁面的回答。

网页抓取
收藏 0GitHub 234
X
x-twitter-scraper

作者 Xquik-dev

使用 x-twitter-scraper 透過 Xquik 擷取 X(Twitter)資料與需要確認的動作。它支援貼文搜尋、使用者查詢、粉絲擷取、媒體下載、監控、webhooks、MCP 與寫入動作。最適合搭配 API key 進行類網頁爬蟲的研究,不適合使用 X 登入憑證。

网页抓取
收藏 0GitHub 71
K
parallel-web

作者 K-Dense-AI

parallel-web 是一個由 parallel-cli 驅動的網頁研究與擷取技能。它可協助你搜尋網路、擷取 URL 內容、從來源補強資料,並進行更深入的研究,且預設優先使用學術與科學來源。適合用於 parallel-web 使用、網頁研究、引用蒐集,以及以證據為先的工作流程。

Web 研究
收藏 0GitHub 0
K
geomaster

作者 K-Dense-AI

geomaster 是一個地理空間科學技能,適用於 GIS、遙測、空間分析與地球觀測工作流程。可用在資料分析任務中,例如柵格與向量操作、衛星影像處理、空間指標計算與工作流程規劃。geomaster 指南可幫助你安裝、檢視並應用這個技能,少一點猜測、多一點把握。

数据分析
收藏 0GitHub 0
K
exa-search

作者 K-Dense-AI

exa-search 是一項由 Exa 驅動的網頁研究技能,可用來尋找最新資訊並從 URL 擷取內容。適合用於搜尋、來源發掘、文章與 PDF 擷取,以及具備語意檢索、類學術篩選與清楚安裝/使用指引的技術或科學研究。

Web 研究
收藏 0GitHub 0
R
asc-aso-audit

作者 rudrankriyam

asc-aso-audit 可協助你在 `./metadata` 上對 Canonical App Store 中繼資料執行離線 ASO 稽核,再透過 Astro MCP 找出關鍵字缺口。搭配 `asc metadata pull` 後使用 asc-aso-audit skill,可更有把握地檢視 `subtitle`、`keywords`、`description` 和 `whatsNew`。

数据分析
收藏 0GitHub 0
J
ffuf-web-fuzzing

作者 jthack

ffuf-web-fuzzing 是一項實用技能,可用來發掘隱藏網頁內容、測試路由與參數,並透過原始請求、自動校準與結果分析對受認證目標進行模糊測試。它適合需要一份可重複使用的 ffuf-web-fuzzing 指南、用於滲透測試與 Security Audit 工作流程的資安測試人員。

安全稽核
收藏 0GitHub 0
R
twitter

作者 ReScienceLab

twitter 技能透過 twitterapi.io 取得即時 Twitter/X 資料,包含使用者個人檔案、推文、回覆、追蹤者、正在追蹤、社群、Space、趨勢與搜尋結果。適合用來做 Twitter 使用情境查證、帳號研究與社群媒體驗證,而不是只靠提示詞猜測。

社交媒体
收藏 0GitHub 0
网页抓取 Agent Skill