firecrawl-download

firecrawl-download スキルの概要

firecrawl-download でできること

firecrawl-download スキルは、特定の用途に絞ったツールです。Web サイト全体やドキュメントの一部を、整理されたローカルファイルとしてダウンロードできます。サイト内のページを見つけてから各ページをスクレイピングし、.firecrawl/ 配下に markdown、スクリーンショット、またはページごとの複数形式で保存します。

特に役立つのは、ドキュメントをオフラインで保持したいとき、調査用のローカルコーパスを作りたいとき、あるいは後から分析するためにページ群をまとめて再現性高く保存したいときです。汎用的なスクレイピング用プロンプトと比べると、firecrawl-download はサイト全体の取得に向いた流れが最初から用意されているため、クロール設計をゼロから組み立てる必要がありません。

どんな人に firecrawl-download スキルが向いているか

特に相性がいいのは次のようなユーザーです。

• ドキュメントをローカル保存したい開発者
• サイト内容を収集してレビューしたいリサーチャー
• 軽量なコンテンツアーカイブを作りたいチーム
• 「このサイトをダウンロードしたい」という実務的なワークフローを、手探りを減らして実行したいエージェント

目的が「このサイトを使いやすいローカルファイルとして保存したい」であれば、広すぎる Web スクレイピング用プロンプトより firecrawl-download の方が適しています。

インストール前にユーザーが気にするポイント

firecrawl-download を入れるかどうかは、たいてい次の 4 点で決まります。

• 単一ページではなく、サイト全体やドキュメントの特定セクションを扱えるか
• 保存先が使いやすいローカル構成になっているか
• 意図しないページまで落とさないように対象範囲を絞れるか
• markdown やスクリーンショットなど複数の出力形式に対応しているか

スキルのソースを見る限り、この 4 点はいずれも満たしています。注意点として、これは experimental と明記されているため、堅牢な長期保存システムというより、実用的な時短ワークフローとして捉えるのが適切です。

Web Scraping ワークフローにおける主な差別化ポイント

firecrawl-download for Web Scraping の強みは、単純なスクレイピング性能の高さだけではありません。コマンドの中に次の流れがまとまっている点が大きいです。

• まずサイトマップ取得
• 次にスクレイピング
• ページ単位でのファイル出力
• ネストしたローカルディレクトリ構成
• ダウンロード時にも scrape オプションを再利用可能

そのため、単にページ内容を返すだけの scrape コマンドよりも、「ドキュメント一式をダウンロードしたい」用途では firecrawl-download の方が導入価値があります。

firecrawl-download スキルの使い方

firecrawl-download のインストール前提

リポジトリを見ると、このスキルは firecrawl/cli の skills/firecrawl-download にあります。実用的な導入手順は次のとおりです。

npx skills add https://github.com/firecrawl/cli --skill firecrawl-download

追加後は次のファイルを確認してください。

• skills/firecrawl-download/SKILL.md

このスキルは補助ファイルがほとんどないため、主な一次情報は SKILL.md です。

最初に読むべきファイル

まず確認したいのは次です。

• skills/firecrawl-download/SKILL.md

このファイルを見ると、実際のスコープがすぐ分かります。firecrawl download は map と scrape を組み合わせた experimental な便利コマンドで、結果は .firecrawl/ 配下に保存され、ダウンロード時にも scrape オプションが使えます。

firecrawl-download の基本的な使い方

firecrawl-download skill を最短で使うなら、docs やコンテンツのルート URL をそのまま指定します。

firecrawl download https://docs.example.com

無人実行を前提にするなら、スキル側でも次の形が明示的に推奨されています。

firecrawl download https://docs.example.com -y

エージェント実行やスクリプト実行で確認プロンプトを省きたいなら、-y を付けるのが基本です。

スキルをうまく動かすために必要な入力

「このサイトをダウンロードして」のような大まかな指示では弱いことが多いです。より良い入力には、次の情報を含めます。

• ルート URL
• 本当に必要なセクションの境界
• 最大ページ数
• 必要な出力形式
• スクリーンショットの要否
• 除外したい対象

たとえば、次のような依頼の方が強いです。

「firecrawl-download を使って https://docs.example.com をローカルに markdown とスクリーンショットで保存し、/guides と /api のみ対象、50 ページまで、翻訳ページは除外してください。」

これなら、スクレイピング前のマッピング段階で適切な範囲を取りやすくなります。

実運用で特に重要なコマンド

ソース上では、実際に価値の高いパターンがいくつか示されています。

# With screenshots
firecrawl download https://docs.example.com --screenshot --limit 20 -y

# Multiple formats per page
firecrawl download https://docs.example.com --format markdown,links --screenshot --limit 20 -y

# Filter by section
firecrawl download https://docs.example.com --include-paths "/features,/sdks"

これらが重要なのは、導入時によくある詰まりどころをそのままカバーしているからです。ページ数が多すぎる、必要なセクションがずれる、出力の粒度が足りない、といった問題に直結します。

ローカルには何が保存されるか

このスキルは .firecrawl/ 配下にネストしたディレクトリを作って出力を保存します。複数形式を指定した場合、各ページごとに次のようなファイルが生成されます。

• index.md
• links.txt
• screenshot.png

このローカルファイル構成の分かりやすさは、単発の scrape プロンプトではなく firecrawl-download install を選ぶ大きな理由のひとつです。

あいまいな目的を実用的なプロンプトに変える方法

最初の発想が次のようなものなら、

• 「この docs サイトをダウンロードして」

次の要素に分解して書き直すのが有効です。

• 対象 URL
• 必要なセクションのフィルタ
• ファイル形式
• スクリーンショットの要否
• ページ上限
• 除外条件

エージェント向けのプロンプト例:

「firecrawl-download スキルを使って https://docs.example.com をオフライン利用向けにダウンロードしてください。markdown とスクリーンショットで保存し、/getting-started,/api のみ対象、30 ページまで、非対話実行のため -y を使ってください。」

この書き方の方が、対象範囲と出力形式のあいまいさを減らせます。

安定した結果を得るための推奨ワークフロー

実践的な firecrawl-download guide の流れは次のとおりです。

1. まずは最小限で意味のある docs セクションから始める。
2. ページ数を増やす前に --include-paths を入れる。
3. 初回は --limit 付きで実行する。
4. .firecrawl/ の出力構造を確認する。
5. --screenshot や複数形式は本当に必要な場合だけ追加する。
6. 最初のサンプルが正しければ、そこで初めて対象を広げる。

これにより、「最初から広く取りすぎて大量にダウンロードしてしまう」という典型的な失敗を避けられます。

通常の scrape ではなく firecrawl-download を使うべき場面

firecrawl-download usage が向いているのは、次のようなケースです。

• 1 ページではなく多数のページが必要
• テキストの返却だけでなくローカルファイルとして欲しい
• オフラインでたどれるコピーを作りたい
• レビューや参照用に docs のスナップショットを素早く取りたい

逆に、通常の scrape が向くのは 1 ページだけ欲しい場合や、抽出ロジックを細かくカスタマイズしたい場合です。firecrawl-download の価値は、サイト規模の保存を短時間で回せるワークフローにあります。

先に知っておきたい制約とトレードオフ

スキルのソースから見える実務上の制約は主に次のとおりです。

• experimental と明記されている
• あくまで convenience command として最適化されている
• 出力品質は対象サイトの構造やスコープ指定に左右される
• 制限なしの広範囲実行はノイズや過剰取得につながりやすい

つまり、制御しやすい docs ダウンロードにはかなり適していますが、完全なアーカイブ品質を必ず保証するものではありません。

firecrawl-download スキル FAQ

firecrawl-download は初心者にも向いている？

はい。特に「docs をローカル保存したい」という用途なら扱いやすいです。コマンド例はシンプルで、対話型ウィザードの助けもあります。ただし初心者でも、ダウンロードが大きくなりすぎないよう、最初は小さめの --limit と狭めの --include-paths から始めるのが安全です。

汎用的な AI スクレイピングプロンプトとの違いは何？

汎用プロンプトでも作業内容は説明できますが、firecrawl-download にはすでに役立つ実行パターンが組み込まれています。つまり、サイトをマップし、各ページをスクレイピングし、ディレクトリに保存する流れが最初からあるということです。これによりセットアップの手間が減り、ワークフローの再現性も上がります。

firecrawl-download はドキュメントサイト専用？

いいえ。ただし、もっとも適合しやすいのはドキュメント用途です。ページ構造や URL パスがある程度予測しやすいサイトで特に力を発揮します。動的要素が多いサイトや、対象範囲を決めにくいサイトでは、より厳密なフィルタや別アプローチが必要になることがあります。

firecrawl-download は markdown 以外も保存できる？

はい。スキルのソースには、ページごとの複数形式出力と任意のスクリーンショット保存が明示されています。読みやすいテキストだけでなく、見た目の証跡も残したい場合には重要なポイントです。

firecrawl-download を使わない方がいいのはどんなとき？

次のような場合は firecrawl-download を使わない方がよいでしょう。

• 1 ページだけ必要
• カスタムの抽出スキーマが必要
• スクレイプ時点で深い後処理をしたい
• より厳密な保証がある堅牢なアーカイブパイプラインが必要

こうしたケースでは、より限定的な scrape コマンドや、個別設計のワークフローの方が適している可能性があります。

firecrawl-download スキルを改善する方法

まず firecrawl-download の対象範囲を絞る

firecrawl-download の結果を改善する最も簡単な方法は、あいまいさを減らすことです。具体的には次を使います。

• --include-paths
• --limit
• 明確な docs ルート URL

制御されていないサイト全体実行より、20 ページ程度に絞った実行の方が、たいてい実用的な結果になります。

実際の後続作業に合わせて出力を選ぶ

何も考えずに毎回すべての形式を要求しないでください。次の工程に合う形式だけを選ぶべきです。

• markdown は閲覧・検索・LLM 取り込み向け
• links は構造把握が重要なとき向け
• --screenshot はレイアウトや UI の証跡が必要なとき向け

こうすることで、実行が軽くなり、出力レビューもしやすくなります。

本番ダウンロード前にサンプル実行する

有効な反復パターンは次のようなものです。

firecrawl download https://docs.example.com --include-paths "/api" --limit 10 -y

まず保存されたファイルを確認し、その後で対象セクションや上限を広げます。これにより、スコープの誤りを早い段階で発見できます。

よくある失敗パターンとその避け方

典型的な問題は次のとおりです。

• 意図しないセクションまでダウンロードしてしまう
• ページ数を取りすぎる
• 自動実行なのに -y を付け忘れる
• 実際には不要な出力形式まで要求してしまう

対策はシンプルです。対象範囲を明示し、初回は制限付きで実行し、出力形式は目的に合わせて選んでください。

エージェント利用時はプロンプト品質を上げる

エージェントがこのスキルを呼び出す場合は、次の情報を明示させるのが有効です。

• 正確な開始 URL
• ローカル出力の用途
• 含めたいセクション
• 避けたいセクション
• 出力形式
• 実行規模の上限

良いプロンプト例:

「firecrawl-download を使って https://docs.example.com のオフライン用 markdown コピーを作成してください。対象は /guides と /reference のみ、各ページのスクリーンショット付き、40 ページまで、非対話で保存してください。」

これは「docs をダウンロードして」より、はるかに実行精度が高くなります。

最初の出力後にどう改善していくか

最初の実行後は、次の点を確認してください。

• .firecrawl/ に期待したページが入っていたか
• 関係ないページが多すぎなかったか
• 必要だったのはスクリーンショットか、テキストだけか
• 次回は include paths を広げるべきか、狭めるべきか

firecrawl-download skill を改善する最善の方法は、やみくもに再実行することではありません。最初の出力で実際に何が得られたかを見て、対象範囲と出力形式を調整することです。