firecrawl-map

Überblick über die firecrawl-map-Skill

Was firecrawl-map macht

firecrawl-map ist eine fokussierte Skill zur URL-Erkennung auf einer Website. Sie eignet sich besonders, wenn du die Domain kennst, aber die genaue Seite nicht, oder wenn du vor dem Scraping, Crawling oder Extrahieren von Inhalten schnell einen Überblick über die Site-Struktur brauchst.

Für wen sich die firecrawl-map-Skill eignet

Die firecrawl-map-Skill passt am besten für alle, die Web-Recherche, Site-Discovery oder die Planung vor dem Scraping betreiben:

• AI-Agents, die vor einer tieferen Extraktion erst die richtige Seite finden müssen
• Entwickler, die Web-Scraping-Workflows aufbauen
• Researcher, die die öffentlich sichtbare URL-Struktur einer Website prüfen
• Operatoren, die schnell eine URL-Liste brauchen, ohne einen vollständigen Crawl zu starten

Der eigentliche Anwendungsfall

In der Praxis wollen Nutzer meist nicht „alle Seiten“ als Selbstzweck. Sie möchten Fragen beantworten wie:

• „Wo ist auf dieser Website die Authentifizierungsdokumentation?“
• „Welche Seiten gibt es unter dieser Domain, bevor ich scrape?“
• „Gibt es einen sitemap-basierten Shortcut, um URLs schnell zu finden?“
• „Sollte ich zuerst mappen oder direkt crawlen?“

Genau deshalb ist firecrawl-map for Web Scraping besonders als Discovery-Schritt nützlich, nicht als finaler Schritt zur Datenextraktion.

Warum sich Nutzer für firecrawl-map entscheiden

Der wichtigste Unterschied liegt in Tempo und kontrollierbarem Scope. Im Vergleich zu einem generischen Prompt wie „finde die Docs-Seite“ bietet die firecrawl-map-Skill einen reproduzierbaren CLI-Weg, um URLs aufzulisten, nach Suchbegriffen zu filtern und die Ausgabe für spätere Schritte zu exportieren.

Wichtige Stärken, die sich im Repository zeigen:

• Direkte CLI-Nutzung mit firecrawl map
• Optionale Filterung mit --search für große Websites
• URL-Inventar als Text oder JSON
• Unterstützung für die Auswahl der Sitemap-Strategie
• Sinnvoll als Zwischenschritt zwischen Suche und tieferem Crawl-/Scrape-Workflow

Wofür sie nicht gedacht ist

firecrawl-map ist nicht das richtige Tool, wenn du Folgendes brauchst:

• Vollständige Extraktion von Seiteninhalten
• Interaktives Browsing
• Detailliertes strukturiertes Scraping pro Seite
• Umfangreiche Traversierungslogik jenseits der reinen URL-Erkennung

In solchen Fällen ist Mapping der Vorbereitungsschritt, nicht das Ziel.

So verwendest du die firecrawl-map-Skill

Installationskontext für die firecrawl-map-Skill

Diese Skill liegt im Repository firecrawl/cli unter skills/firecrawl-map. Sie ist für Umgebungen gedacht, in denen Folgendes ausgeführt werden kann:

• firecrawl *
• npx firecrawl *

Wenn dein Agent oder lokaler Workflow Bash-Befehle ausführen kann, reicht dieser firecrawl-map-Installationsweg in der Regel aus:

npx firecrawl map "<url>" --limit 100

Wenn du die Firecrawl CLI bereits global verfügbar hast, nutze:

firecrawl map "<url>" --limit 100

Diese Datei solltest du vor der Nutzung zuerst lesen

Starte mit:

• skills/firecrawl-map/SKILL.md

Dieser Repository-Ausschnitt ist klein, es gibt also nicht viel zusätzliches Material zu prüfen. Das beschleunigt die Einführung, bedeutet aber auch: Du solltest in deinen Prompts Domain, Ziel und Ausgabeformat klar benennen.

Grundlegende Nutzungsmuster von firecrawl-map

Die Skill unterstützt zwei typische Nutzungsmodi.

1. Eine wahrscheinlich passende Seite nach Thema finden:

firecrawl map "https://example.com" --search "authentication" -o .firecrawl/filtered.txt

2. Ein breiteres URL-Inventar erzeugen:

firecrawl map "https://example.com" --limit 500 --json -o .firecrawl/urls.json

Das ist das Kernmuster für die firecrawl-map usage: Starte eng mit einer Suche, wenn du eine bestimmte Seite suchst, oder breit mit einer begrenzten URL-Liste, wenn du den nächsten Scraping-Schritt planst.

Welche Eingaben die Skill braucht

Um die firecrawl-map-Skill gut zu nutzen, solltest du diese Eingaben klar angeben:

• Die Root-URL oder Domain
• Ob du eine wahrscheinliche Seite oder viele URLs brauchst
• Einen Suchbegriff, wenn du das Thema kennst
• Das gewünschte Limit für zurückgegebene URLs
• Das Ausgabeformat: Plain Text oder JSON
• Ob Subdomains berücksichtigt werden sollen
• Wie mit Sitemaps umgegangen werden soll

Schwache Eingabe:

• „Finde die Docs auf dieser Website“

Starke Eingabe:

• „Mappe https://docs.example.com, suche nach authentication, gib die am besten passenden URLs als JSON zurück und beziehe Subdomains nur ein, wenn die Haupt-Docs-Domain zu wenige Treffer liefert.“

Die stärkere Version reduziert Rätselraten und macht die passende Befehlswahl eindeutig.

So wird aus einer groben Anfrage ein starker Prompt

Ein guter firecrawl-map-Leitfaden für Prompting ist: Nenne fünf Dinge in einem Satz:

• Site
• Absicht
• Scope
• Filter
• Ausgabe

Beispiel:

• „Use firecrawl-map on https://example.com to list up to 200 public URLs, prefer sitemap discovery, skip unrelated subdomains, and save JSON output for later scraping.“

Beispiel für gezielte Discovery:

• „Use firecrawl-map to find the page on https://example.com most related to pricing API limits, and write matching URLs to a text file.“

Bester Workflow: erst mappen, dann scrapen oder crawlen

Ein praxistauglicher Workflow sieht so aus:

1. Verwende firecrawl map mit --search, wenn du eine einzelne Seite finden willst.
2. Verwende firecrawl map mit --limit und --json, wenn du ein breiteres URL-Set brauchst.
3. Prüfe die zurückgegebenen URLs.
4. Wähle die relevantesten Seiten aus.
5. Gehe erst dann zu Scrape oder Crawl über, wenn du die Site-Struktur ausreichend verstanden hast.

Das spart Zeit und Kosten gegenüber blindem Scraping.

Optionen, die die Ausgabequalität spürbar verändern

Die wichtigsten Optionen sind:

• --search <query>: ideal, um auf einer großen Site eine thematisch passende Seite zu finden
• --limit <n>: verhindert übergroße Ergebnismengen
• --json: erleichtert nachgelagerte Filterung und Automatisierung
• --sitemap <include|skip|only>: wichtig, wenn die Sitemap-Abdeckung relevant ist
• --include-subdomains: erweitert den Scope, kann aber Rauschen hinzufügen
• -o, --output <path>: macht Ergebnisse in einer Pipeline wiederverwendbar

Wenn die Resultate zu noisy sind, solltest du zuerst Suchbegriff, Domain-Scope und Einbezug von Subdomains enger fassen.

Die passende Sitemap-Strategie wählen

Die Option --sitemap ist wichtiger, als viele Nutzer erwarten:

• only: am schnellsten, wenn du der Sitemap der Website vertraust und eine sauberere Abdeckung willst
• include: guter Standard, wenn du Sitemap-Hilfe nutzen willst, ohne vollständig davon abhängig zu sein
• skip: sinnvoll, wenn Sitemap-Ergebnisse veraltet, unvollständig oder irreführend sind

Für Dokumentationsseiten liefern include oder only oft bessere firecrawl-map for Web Scraping-Ergebnisse als eine ungebremste Discovery.

Wann du Subdomains einbeziehen solltest

Nutze --include-subdomains nur dann, wenn der Zielinhalt außerhalb des Haupt-Hostnamens liegen könnte, zum Beispiel auf:

• docs.example.com
• developers.example.com
• support.example.com

Aktiviere die Option bei Unternehmensseiten nicht standardmäßig, wenn du nicht wirklich breitere Abdeckung willst. Sonst kann deine URL-Liste schnell mit Marketing-, Support- oder App-Bereichen überflutet werden, die nichts mit deinem Ziel zu tun haben.

Praktische Beispiele, die Nutzer tatsächlich brauchen

Eine Login- oder Auth-Dokumentationsseite finden:

firecrawl map "https://docs.example.com" --search "authentication" -o .firecrawl/auth-pages.txt

Ein wiederverwendbares JSON-URL-Inventar erzeugen:

firecrawl map "https://example.com" --limit 300 --json -o .firecrawl/site-map.json

Für eine Docs-Site nur Sitemap-basierte Discovery bevorzugen:

firecrawl map "https://docs.example.com" --sitemap only --limit 500 --json

Den Scope auf Subdomains erweitern, wenn unklar ist, wo die Docs liegen:

firecrawl map "https://example.com" --search "API reference" --include-subdomains

Häufige Hürden bei der Einführung

Die häufigsten Probleme mit der firecrawl-map-Skill sind keine Installationsprobleme, sondern Qualitätsprobleme bei der Anfrage:

• Start mit einer zu breiten Domain
• --search vergessen, obwohl nur eine einzelne Seite gesucht wird
• Zu viele URLs ohne Limit ziehen
• Subdomains zu früh einbeziehen
• map wie ein Tool zur Inhaltsextraktion behandeln

Wenn das erste Ergebnis unübersichtlich ist, grenze zuerst die Site enger ein und schärfe das Thema, bevor du das Tool wechselst.

firecrawl-map-Skill FAQ

Ist firecrawl-map besser als ein normaler Prompt?

Ja, wenn die Aufgabe URL-Discovery auf einer bekannten Website ist. Ein normaler Prompt kann wahrscheinliche Seiten erraten, aber firecrawl-map bietet einen konkreten, wiederholbaren Weg, URLs aus der Zieldomain aufzulisten und zu filtern.

Ist die firecrawl-map-Skill gut für Einsteiger?

Ja, weil die Befehlsoberfläche klein ist. Der einfachste Einstieg ist einer dieser beiden Befehle:

firecrawl map "https://example.com" --search "pricing"

firecrawl map "https://example.com" --limit 100 --json

Der häufigste Fehler von Einsteigern ist, die Extraktion von Seiteninhalten zu verlangen. Das liegt außerhalb des Kernzwecks der Skill.

Wann sollte ich firecrawl-map statt Crawling verwenden?

Verwende firecrawl-map zuerst, wenn du die Site-Struktur verstehen oder passende Kandidatenseiten finden musst. Nutze Crawling später, wenn du nach der Discovery breitere Traversierung oder Verarbeitung auf Seitenebene brauchst.

Wann sollte ich firecrawl-map nicht verwenden?

Überspringe es, wenn:

• du die exakte URL bereits kennst
• du Seitentext, Metadaten oder strukturierte Extraktion brauchst
• du Browser-Interaktion statt einer URL-Liste benötigst
• die Aufgabe nichts mit Site-Discovery zu tun hat

Funktioniert firecrawl-map gut für große Websites?

Ja, aber nur, wenn du den Scope kontrollierst. Nutze --search, --limit und die Sitemap-Strategie bewusst. Gerade bei großen Websites bringt die firecrawl-map usage den meisten Mehrwert — dort erzeugen aber auch zu offene Prompts das meiste Rauschen.

Welches Ausgabeformat sollte ich wählen?

Wähle Plain Text, wenn ein Mensch einfach schnell eine Seitenliste braucht. Wähle --json, wenn ein anderes Tool, ein Script oder ein nachgelagerter Schritt die Ergebnisse weiterverarbeiten soll.

So verbesserst du die firecrawl-map-Skill

Starte mit einem engeren Ziel, als du zunächst denkst

Der einfachste Weg zu besseren firecrawl-map-Ergebnissen ist, den Scope früh zu verkleinern. Wenn du weißt, dass der Inhalt wahrscheinlich in der Dokumentation liegt, nutze direkt den Docs-Hostnamen statt der Unternehmens-Homepage.

Besser:

• https://docs.example.com

Schlechter:

• https://example.com

Nutze Suchphrasen, die zur Seitenintention passen

Bei der firecrawl-map-Skill ist die Qualität der Suche wichtiger als die Menge an Keywords. Kurze, absichtsorientierte Phrasen schlagen meist überladene Anfragen.

Besser:

• authentication
• rate limits
• API reference

Schlechter:

• where can I find complete developer authentication API reference and login documentation

Die bessere Version ist für URL-Filterung leichter nutzbar und liefert in der Regel sauberere Treffer.

Wähle JSON, wenn die Ergebnisse in einen weiteren Schritt gehen

Wenn dein nächster Schritt Scrape, Filter, Klassifizierung oder Deduplizierung ist, nutze:

--json

Diese kleine Entscheidung macht den firecrawl-map-Leitfaden deutlich automationsfreundlicher und reduziert manuellen Bereinigungsaufwand.

Nutze map iterativ, nicht nur einmal

Ein starker Workflow ist:

1. Führe eine enge --search-Abfrage aus
2. Prüfe die wahrscheinlich passenden URLs
3. Starte ein zweites Mapping auf der besten Subdomain oder im passendsten Bereich
4. Erhöhe --limit nur bei Bedarf
5. Wechsle zu scrape/crawl, sobald die Discovery stabil genug ist

Das ist besser als ein einziger riesiger Lauf, weil das Signal-Rausch-Verhältnis hoch bleibt.

Achte auf typische Fehlermuster

Typische Fehlermuster bei firecrawl-map for Web Scraping:

• Zu viele irrelevante URLs aus breiten Domains
• Zielseiten fehlen, weil die Suchbegriffe zu vage sind
• Unvollständige Inventare durch die falsche Sitemap-Strategie
• Noisy Ergebnisse, weil Subdomains unnötig aktiviert wurden

Für jedes Problem gibt es eine einfache Korrektur: Site enger fassen, Query schärfen, Sitemap-Modus wechseln oder den Scope verkleinern.

Verbessere Prompts, indem du Erfolgskriterien angibst

Bitte nicht einfach nur um „alle URLs“. Sage stattdessen, woran Erfolg gemessen wird.

Beispiel:

• „Use firecrawl-map to find pages related to authentication setup on https://docs.example.com. Return the most relevant URLs first, cap at 50, and save JSON output for follow-up scraping.“

Damit werden Tool-Wahl, Parameter und Abbruchpunkt deutlich klarer.

Halte einen einfachen Eskalationspfad bereit

Nutze diesen praktischen Entscheidungsweg:

• Eine wahrscheinlich passende Seite nötig: map --search
• Ein URL-Inventar nötig: map --limit --json
• Seiteninhalt nötig: scrape nach map
• Breitere Traversierung nötig: crawl nach map

So verbesserst du firecrawl-map-Ergebnisse am effektivsten, ohne deinen Workflow unnötig zu verkomplizieren.