Web Scraping

data-scraper-agent hilft beim Aufbau einer wiederholbaren Public-Data-Pipeline für Web Scraping, Anreicherung und Speicherung. Es ist für das Monitoring von Jobs, Preisen, News, Repos, Sport und Listings nach Zeitplan mit GitHub Actions ausgelegt, mit Ausgaben nach Notion, Sheets oder Supabase. Am besten für laufendes Tracking, nicht für einmalige Extraktionen.

remote-browser unterstützt sandboxed Agents dabei, einen Headless-Browser für Browser-Automatisierung zu steuern. Damit lassen sich Seiten öffnen, Zustände prüfen, indexierte Elemente anklicken, Eingaben tippen, Screenshots erstellen und Verbindungen zu lokalen Apps oder CDP-basierten Browser-Sitzungen herstellen.

browser-use ist ein Skill für Browser-Automatisierung: Seiten öffnen, Status prüfen, indizierte Elemente anklicken, in Felder tippen, Screenshots erstellen und eine persistente Browser-Sitzung weiterverwenden. Geeignet für zuverlässiges Ausfüllen von Formularen, Navigation und eingeloggte Workflows mit der browser-use CLI.

baoyu-url-to-markdown wandelt Live-URLs mit einer eingebundenen baoyu-fetch-CLI per Chrome CDP, Site-Adaptern und generischem Fallback in Markdown um. Prüfen Sie die Bun-Laufzeitvoraussetzungen, die einmalige Einrichtung von EXTEND.md und die Nutzung für X, YouTube, Hacker News sowie gerenderte Seiten.

Nutze die Skill "huggingface-datasets" für Workflows mit der Hugging Face Dataset Viewer API, um Datensätze zu validieren, Splits aufzulösen, Zeilen vorzuschauen und zu paginieren, Text zu durchsuchen, Filter anzuwenden sowie Parquet-Links oder Statistiken abzurufen. Ein praktischer huggingface-datasets Leitfaden für die schreibgeschützte Erkundung von Datensätzen.

burpsuite-project-parser durchsucht und extrahiert Daten aus Burp Suite-Projektdateien (.burp) mit Burp Suite Professional und der Erweiterung burpsuite-project-file-parser. Nutze es für Security-Audit-Funde, Proxy-Verlauf, Site-Map-Einträge und Regex-Suchen in aufgezeichnetem HTTP-Traffic.

web-to-markdown ist ein Skill für Formatkonvertierung, der Live-Webseiten über das lokale `web2md`-CLI in sauberes Markdown umwandelt. Für JS-gerenderte Seiten, interaktive Abläufe und die Batch-Konvertierung von URLs nutzt er einen Browser der Chromium-Familie. Er wird nur ausgeführt, wenn er ausdrücklich namentlich aufgerufen wird.

Die query-Skill führt DuckDB-Queries gegen eine angebundene Datenbank oder direkt gegen Dateien aus. Sie akzeptiert SQL oder Fragen in natürlicher Sprache, unterstützt Session- und Ad-hoc-Modus und eignet sich für Data Analysis, schnelle Prüfungen und iteratives Arbeiten mit DuckDB Friendly SQL.

firecrawl-agent unterstützt bei der Extraktion von strukturiertem JSON aus komplexen Websites mit mehreren Seiten. Hier erfahren Sie, wann sich das Tool eignet, wie Sie den Firecrawl CLI-Agent ausführen, Schemas hinzufügen, Start-URLs festlegen und Ausgaben für Preise, Produkte und verzeichnisartige Datenextraktion speichern.

firecrawl-browser ist ein Firecrawl-Skill für interaktive Web-Automatisierung. Als eigenständiger Browser-Befehl ist er veraltet und verweist jetzt auf die Nutzung von firecrawl scrape plus firecrawl interact für Klicks, Formulare, Login-Flows, Pagination und JavaScript-lastige Seiten.

firecrawl Skill zum Installieren, Authentifizieren und Nutzen der offiziellen Firecrawl CLI für Web-Scraping, Suche, Crawling und Seiteninteraktion. Erfahren Sie, wie Einrichtung, `firecrawl --status`, Login, sichere Dateiausgabe nach `.firecrawl/` und praxisnahe Nutzungsmuster laut Repository funktionieren.

firecrawl-crawl unterstützt Agenten dabei, Inhalte einer Website oder eines Docs-Bereichs in großem Umfang zu extrahieren – mit Pfadfiltern, Tiefenlimits, Seitenobergrenzen, Wait-Modus und Prüfungen des Job-Status.

firecrawl-download hilft dir dabei, eine Website oder einen Dokumentationsbereich als strukturierte lokale Dateien unter `.firecrawl/` zu speichern. Die Skill kombiniert Site-Mapping und Scraping, unterstützt Markdown, Links und Screenshots und eignet sich für Offline-Kopien von Doku, das Erfassen vieler Seiten auf einmal und praktische Web-Scraping-Workflows.

firecrawl-search ist eine Skill für Webrecherche, um Quellen zu finden, strukturierte Suchen auszuführen und optional vollständige Seiteninhalte mit Firecrawl CLI als JSON zu extrahieren.

firecrawl-map hilft Agents dabei, URLs auf einer Website zu finden und aufzulisten – mit Optionen für Suchfilter, Limits, JSON-Ausgabe, Sitemap-Modi und die Steuerung von Subdomains, bevor tieferes Scraping oder Crawling startet.

firecrawl-scrape hilft dabei, saubere, LLM-taugliche Inhalte aus bekannten URLs zu extrahieren, auch von JS-gerenderten Seiten. Verwende es, um Markdown, Links oder seitenspezifische Antworten mit Firecrawl CLI oder `npx firecrawl` auszulesen.

Verwende x-twitter-scraper, um X-(Twitter-)Daten und bestätigungspflichtige Aktionen über Xquik abzurufen. Unterstützt sind Tweet-Suche, Nutzerabfragen, Follower-Extraktion, Medien-Downloads, Monitore, Webhooks, MCP und Schreibaktionen. Am besten geeignet für Web-Scraping-artige Recherchen mit API-Schlüssel, nicht mit X-Login-Daten.

parallel-web ist ein Skill für Web-Recherche und Extraktion, der auf parallel-cli basiert. Er hilft dir beim Web-Suchen, beim Extrahieren von URL-Inhalten, beim Anreichern von Daten aus Quellen und bei tiefergehender Recherche, wobei wissenschaftliche und akademische Quellen priorisiert werden. Verwende ihn für die Nutzung von parallel-web, Web-Recherche, Zitate und evidenzbasierte Workflows.

geomaster ist eine Geowissenschafts-Skill für GIS, Fernerkundung, räumliche Analyse und Earth-Observation-Workflows. Nutzen Sie sie für Data-Analysis-Aufgaben wie Raster- und Vektoroperationen, die Verarbeitung von Satellitenbildern, räumliche Kennzahlen und die Planung von Workflows. Der geomaster-Guide hilft Ihnen, die Skill zu installieren, zu prüfen und mit weniger Rätselraten einzusetzen.

exa-search ist eine Web-Recherche-Skill auf Basis von Exa für das Finden aktueller Informationen und das Extrahieren von Inhalten aus URLs. Sie eignet sich für Suche, Quellenrecherche, Artikel- und PDF-Extraktion sowie technische oder wissenschaftliche Recherchen mit semantischer Suche, akademischer Filterung und klaren Hinweisen zu Installation und Nutzung.

asc-aso-audit hilft dir, ein Offline-ASO-Audit für kanonische App-Store-Metadaten in `./metadata` durchzuführen und anschließend mit Astro MCP Keyword-Lücken aufzudecken. Verwende die asc-aso-audit Skill nach `asc metadata pull`, um `subtitle`, `keywords`, `description` und `whatsNew` mit weniger Rätselraten zu prüfen.

ffuf-web-fuzzing ist ein praxisnaher Skill zum Aufspüren versteckter Webinhalte, zum Testen von Routen und Parametern sowie zum Fuzzing authentifizierter Ziele mit Raw Requests, Auto-Kalibrierung und Ergebnisanalyse. Er eignet sich für Security-Tester, die einen wiederholbaren ffuf-web-fuzzing-Leitfaden für Penetrationstests und Security-Audit-Workflows benötigen.

Das Twitter-Skill ruft aktuelle Twitter/X-Daten über twitterapi.io ab, darunter Nutzerprofile, Tweets, Antworten, Follower, Following, Communities, Spaces, Trends und Suchergebnisse. Verwende es für faktenbasierte Twitter-Recherchen, Kontenanalysen und Social-Media-Prüfungen, statt aus Prompts zu raten.