Web Scraping

data-scraper-agent aide à mettre en place un pipeline de données publiques reproductible pour le web scraping, l’enrichissement et le stockage. Il est conçu pour suivre des jobs, des prix, des actualités, des repos, des résultats sportifs et des annonces selon un planning, via GitHub Actions, avec des sorties vers Notion, Sheets ou Supabase. Idéal pour un suivi continu, pas pour des extractions ponctuelles.

remote-browser aide les agents isolés en sandbox à piloter un navigateur headless pour l’automatisation du navigateur. Utilisez-le pour ouvrir des pages, inspecter l’état, cliquer sur des éléments indexés, saisir du texte, prendre des captures d’écran et se connecter à des applications locales ou à des sessions de navigateur compatibles CDP.

browser-use est une skill d’automatisation de navigateur qui permet d’ouvrir des pages, d’inspecter l’état, de cliquer sur des éléments indexés, de saisir du texte dans des champs, de prendre des captures d’écran et de réutiliser une session de navigateur persistante. Utilisez-la pour le remplissage fiable de formulaires, la navigation et les workflows en mode connecté avec la CLI browser-use.

baoyu-url-to-markdown convertit des URL en direct en Markdown via le CLI embarqué baoyu-fetch, avec Chrome CDP, des adaptateurs par site et un mode de repli générique. Vérifiez les exigences d’exécution avec Bun, la configuration initiale de `EXTEND.md`, ainsi que l’usage pour X, YouTube, Hacker News et les pages rendues.

Utilisez le skill huggingface-datasets pour les workflows de l’API Hugging Face Dataset Viewer afin de valider des datasets, résoudre les splits, prévisualiser et paginer les lignes, rechercher du texte, appliquer des filtres, et récupérer des liens Parquet ou des statistiques. C’est un guide pratique huggingface-datasets pour explorer des datasets en lecture seule.

burpsuite-project-parser recherche et extrait des données depuis des fichiers projet Burp Suite (.burp) à l’aide de Burp Suite Professional et de l’extension burpsuite-project-file-parser. Utilisez-le pour exploiter des résultats d’audit de sécurité, l’historique du proxy, les entrées du site map et effectuer des recherches par expressions régulières sur le trafic HTTP capturé.

web-to-markdown est un skill de conversion de format qui transforme des pages web en direct en Markdown propre via le CLI local `web2md`, en s’appuyant sur un navigateur de la famille Chromium pour les pages rendues en JS, les parcours interactifs et la conversion par lots d’URL. Il ne s’exécute que lorsqu’il est explicitement invoqué par son nom.

La skill query exécute des requêtes DuckDB sur une base de données attachée ou directement sur des fichiers. Elle accepte du SQL ou des questions en langage naturel, prend en charge les modes session et ad hoc, et convient à l’analyse de données, aux vérifications rapides et au travail itératif de requête avec DuckDB Friendly SQL.

firecrawl-agent aide à extraire du JSON structuré depuis des sites web complexes à plusieurs pages. Découvrez dans quels cas l’utiliser, comment lancer l’agent Firecrawl CLI, ajouter des schémas, définir des URL de départ et enregistrer les résultats pour l’extraction de tarifs, de catalogues produits et de données de type annuaire.

firecrawl-browser est une skill Firecrawl d’automatisation web interactive. Elle est désormais dépréciée en tant que commande navigateur autonome et oriente maintenant les utilisateurs vers `firecrawl scrape` puis `firecrawl interact` pour les clics, les formulaires, les parcours de connexion, la pagination et les pages riches en JavaScript.

Skill firecrawl pour installer, authentifier et utiliser le CLI officiel Firecrawl pour le scraping web, la recherche, le crawl et l’interaction avec les pages. Découvrez la configuration, `firecrawl --status`, la connexion, l’écriture sécurisée des fichiers dans `.firecrawl/` et des usages concrets appuyés par le repo.

firecrawl-crawl aide les agents à extraire en masse le contenu d’un site web ou d’une section de documentation grâce à des filtres de chemin, des limites de profondeur, des plafonds de pages, un mode d’attente et des vérifications de statut de tâche.

firecrawl-download permet de télécharger un site ou une section de documentation dans des fichiers locaux bien organisés sous `.firecrawl/`. Il combine cartographie du site et scraping, prend en charge le markdown, les liens et les captures d’écran, et convient bien aux copies hors ligne de documentation, à la capture en masse de pages et à des workflows Web Scraping concrets.

firecrawl-search est une skill de recherche web conçue pour trouver des sources, effectuer des recherches structurées et, si besoin, extraire le contenu complet de pages au format JSON avec Firecrawl CLI.

firecrawl-map aide les agents à découvrir et lister les URL d’un site, avec des options de filtrage par recherche, de limitation, de sortie JSON, de modes sitemap et de contrôle des sous-domaines avant un scraping ou un crawl plus approfondi.

firecrawl-scrape permet d’extraire un contenu propre et adapté aux LLM à partir d’URL connues, y compris sur des pages rendues en JS. Utilisez-le pour récupérer du markdown, des liens ou des réponses ciblées sur une page avec Firecrawl CLI ou `npx firecrawl`.

Utilisez x-twitter-scraper pour récupérer des données X (Twitter) et exécuter des actions soumises à confirmation via Xquik. L’outil prend en charge la recherche de tweets, la consultation d’utilisateurs, l’extraction de followers, le téléchargement de médias, les monitors, les webhooks, MCP et les actions d’écriture. Idéal pour des recherches de type web scraping avec une clé API, sans avoir à utiliser des identifiants de connexion X.

parallel-web est une skill de recherche et d’extraction web propulsée par parallel-cli. Elle vous aide à rechercher sur le web, extraire le contenu d’URL, enrichir des données à partir de sources et mener des recherches approfondies en privilégiant les sources académiques et scientifiques. Utilisez-la pour l’usage de parallel-web, la recherche web, les citations et les workflows fondés sur les preuves.

geomaster est une compétence de science géospatiale pour les workflows GIS, de télédétection, d’analyse spatiale et d’observation de la Terre. Utilisez-la pour des tâches d’analyse de données comme les opérations raster et vectorielles, le traitement d’imagerie satellite, les métriques spatiales et la planification de workflows. Le guide geomaster vous aide à installer, inspecter et appliquer la compétence avec moins d’hésitation.

exa-search est un skill de recherche web propulsé par Exa, conçu pour trouver des informations à jour et extraire du contenu depuis des URLs. Utilisez-le pour la recherche web, la découverte de sources, l’extraction d’articles et de PDF, ainsi que pour des recherches techniques ou scientifiques grâce à une récupération sémantique, un filtrage de type académique et des indications claires d’installation et d’utilisation.

asc-aso-audit vous aide à réaliser un audit ASO hors ligne sur les métadonnées App Store canoniques dans `./metadata`, puis à faire ressortir les écarts de mots-clés avec Astro MCP. Utilisez la compétence asc-aso-audit après `asc metadata pull` pour passer en revue `subtitle`, `keywords`, `description` et `whatsNew` avec moins de suppositions.

ffuf-web-fuzzing est une compétence pratique pour découvrir du contenu web caché, tester des routes et des paramètres, et fuzzifier des cibles authentifiées avec des requêtes brutes, un auto-calibrage et l’analyse des résultats. Elle convient aux testeurs en sécurité qui ont besoin d’un guide ffuf-web-fuzzing reproductible pour les tests d’intrusion et les workflows d’audit de sécurité.

Le skill Twitter récupère des données Twitter/X en direct via twitterapi.io, notamment les profils d’utilisateurs, les tweets, les réponses, les abonnés, les comptes suivis, les communautés, les Spaces, les tendances et les résultats de recherche. Utilisez-le pour vérifier des faits sur l’usage de Twitter, faire de la recherche sur un compte et valider des informations sur les réseaux sociaux, plutôt que de les deviner à partir des prompts.