Web Scraping

data-scraper-agent は、Web スクレイピング、データ強化、保存までを一貫して行う、再利用可能な公開データパイプラインの構築を支援します。GitHub Actions を使って、ジョブ、価格、ニュース、リポジトリ、スポーツ、掲載情報などを定期監視する用途に向いており、出力先は Notion、Sheets、Supabase に対応します。一度きりの抽出よりも、継続的な追跡に最適です。

remote-browserは、サンドボックス環境のエージェントがBrowser Automation用のヘッドレスブラウザを操作するためのスキルです。ページを開く、状態を確認する、番号付き要素をクリックする、入力する、スクリーンショットを撮る、ローカルアプリやCDP対応ブラウザセッションに接続するといった操作に使えます。

browser-use は、ページを開く、状態を確認する、番号付き要素をクリックする、フォームに入力する、スクリーンショットを撮る、永続的なブラウザーセッションを再利用するといった操作に対応したブラウザー自動化スキルです。browser-use CLI を使った安定したフォーム入力、ページ遷移、ログイン後のワークフローに適しています。

baoyu-url-to-markdown は、vendored な baoyu-fetch CLI を使い、Chrome CDP・サイト別アダプター・汎用フォールバックで公開中の URL を Markdown に変換します。導入前に、Bun ランタイムの要件、初回の EXTEND.md 設定、X・YouTube・Hacker News・レンダリング後ページでの使い方を確認しておくと安心です。

huggingface-datasets スキルは、Hugging Face Dataset Viewer API のワークフローでデータセットの検証、split の解決、行のプレビューとページネーション、テキスト検索、フィルタ適用、parquet リンクや統計情報の取得を行うために使います。読み取り専用のデータセット探索に適した、実用的な huggingface-datasets ガイドです。

burpsuite-project-parser は、Burp Suite Professional と burpsuite-project-file-parser 拡張機能を使って、Burp Suite のプロジェクトファイル（.burp）からデータを検索・抽出する skill です。セキュリティ監査の指摘、プロキシ履歴、サイトマップ項目、キャプチャ済み HTTP トラフィック全体に対する regex 検索に使えます。

web-to-markdown は、ローカルの `web2md` CLI を使って公開中の Web ページを整った Markdown に変換する Format Conversion スキルです。JS 描画ページ、対話操作が必要なフロー、複数 URL の一括変換にも対応し、Chromium 系ブラウザを利用します。実行されるのは、名前を明示して呼び出した場合のみです。

query スキルは、接続済みのデータベースに対して、またはファイルを直接対象にして DuckDB クエリを実行します。SQL も自然言語の質問も受け付け、セッションモードとアドホックモードの両方をサポートします。Data Analysis、素早い確認、DuckDB Friendly SQL を使った反復的なクエリ作業に役立ちます。

firecrawl-agentは、複雑で複数ページにまたがるWebサイトから構造化JSONを抽出したいときに役立つスキルです。Firecrawl CLI agentを使うべき場面、実行方法、schemaの追加、開始URLの指定、価格情報・商品一覧・ディレクトリ型データの出力保存までを判断しやすく紹介します。

firecrawl-browserは、対話型のWeb自動化向けFirecrawlスキルです。単体のbrowserコマンドとしては非推奨となっており、現在はクリック、フォーム入力、ログインフロー、ページネーション、JavaScript依存のページに対応するために、`firecrawl scrape`の後に`firecrawl interact`を使う運用へ案内しています。

webスクレイピング、検索、クローリング、ページ操作に対応する公式 Firecrawl CLI をインストール・認証・活用するための firecrawl skill です。セットアップ、`firecrawl --status` による確認、ログイン、`.firecrawl/` への安全な出力方法、リポジトリに基づく実践的な使い方まで学べます。

firecrawl-crawl は、パスフィルター、深さ制限、ページ上限、待機モード、ジョブ状態確認を使って、Webサイト全体や docs セクションのコンテンツをまとめて抽出したいエージェント向けのスキルです。

firecrawl-download は、Web サイト全体やドキュメントの特定セクションを、整理されたローカルファイルとして `.firecrawl/` 配下に保存できるスキルです。サイトマップ作成とスクレイピングを組み合わせ、markdown、リンク、スクリーンショットの取得に対応。オフライン用の docs 保存、複数ページの一括取得、実務的な Web Scraping ワークフローに役立ちます。

firecrawl-search は、ソースの発見や構造化検索を行い、必要に応じて Firecrawl CLI でページ全文を JSON として取得できる、Web調査向けのスキルです。

firecrawl-map は、サイト内のURLを見つけて一覧化するためのスキルです。検索フィルタ、件数制限、JSON出力、サイトマップモード、サブドメイン制御に対応しており、本格的な scraping や crawling の前段で使いやすく設計されています。

firecrawl-scrape は、既知のURLからクリーンでLLM向けに扱いやすい内容を抽出できるスキルです。JSで描画されるページにも対応し、Firecrawl CLI または `npx firecrawl` を使って、markdown、リンク一覧、ページ単位の回答を取得できます。

x-twitter-scraperを使って、Xquik経由でX（Twitter）のデータ取得と確認付きアクションを実行できます。ツイート検索、ユーザー照会、フォロワー抽出、メディア डाउनलोड、監視、webhook、MCP、書き込み系アクションに対応。Xのログイン情報ではなくAPIキーで行う、Webスクレイピング寄りの調査用途に最適です。

parallel-web は、parallel-cli を基盤にした Web リサーチと抽出のためのスキルです。Web 検索、URL からのコンテンツ抽出、ソースを使ったデータの補完、さらに学術・科学系ソースを優先した深掘りリサーチを支援します。parallel-web の使い方、Web リサーチ、引用、証拠ベースのワークフローに向いています。

geomaster は、GIS、リモートセンシング、空間解析、地球観測のワークフローに対応する地理空間サイエンス系スキルです。ラスタ／ベクター操作、衛星画像処理、空間指標の算出、ワークフロー設計などのデータ分析タスクに使えます。geomaster ガイドを使えば、迷いを減らしながら、このスキルのインストール、内容確認、適用まで進められます。

exa-search は、Exa を活用した Web リサーチスキルです。現在の情報を見つけたり、URL からコンテンツを抽出したりする用途に向いています。検索、ソース探索、記事や PDF の抽出、意味ベースの検索、学術的な絞り込みを使った技術・科学リサーチに利用でき、導入と使い方もわかりやすく整理されています。

asc-aso-auditは、`./metadata` にある正規の App Store メタデータを使ってオフラインでASO監査を行い、Astro MCPでキーワードの抜けを洗い出すのに役立ちます。`asc metadata pull` の後に asc-aso-audit スキルを使えば、`subtitle`、`keywords`、`description`、`whatsNew` を、勘に頼らず確認できます。

ffuf-web-fuzzing は、隠れたWebコンテンツの発見、ルートやパラメータのテスト、raw リクエスト、オートキャリブレーション、結果分析を使った認証済みターゲットのファジングに役立つ実践的なスキルです。ペネトレーションテストや Security Audit のワークフローで、再現性のある ffuf-web-fuzzing ガイドを必要とするセキュリティテスターに適しています。

twitterスキルは、twitterapi.ioを通じてTwitter/Xのライブデータを取得します。ユーザープロフィール、ツイート、返信、フォロワー、フォロー中、コミュニティ、スペース、トレンド、検索結果までカバーします。プロンプトから推測するのではなく、Twitterの事実確認、アカウント調査、SNSの検証に使えます。