Web Scraping

data-scraper-agent는 웹 스크래핑, 데이터 보강, 저장을 위한 반복 가능한 공개 데이터 파이프라인 구축을 돕습니다. GitHub Actions를 사용해 일정에 맞춰 작업, 가격, 뉴스, 저장소, 스포츠, 목록을 모니터링하도록 설계되었으며, 결과는 Notion, Sheets, 또는 Supabase로 보낼 수 있습니다. 일회성 추출보다는 지속적인 추적에 가장 적합합니다.

remote-browser는 샌드박스 환경의 에이전트가 Browser Automation을 위해 헤드리스 브라우저를 제어할 수 있게 해주는 스킬입니다. 페이지 열기, 상태 확인, 인덱스 기반 요소 클릭, 입력 타이핑, 스크린샷 촬영은 물론 로컬 앱이나 CDP 기반 브라우저 세션 연결에도 사용할 수 있습니다.

browser-use는 페이지 열기, 상태 확인, 인덱스된 요소 클릭, 입력 필드 타이핑, 스크린샷 촬영, 그리고 지속형 브라우저 세션 재사용을 지원하는 브라우저 자동화 스킬입니다. browser-use CLI를 활용해 안정적인 폼 입력, 페이지 이동, 로그인 기반 워크플로에 적합합니다.

zyte-api-automation은 Composio Rube MCP를 통해 에이전트가 Zyte API 워크플로를 실행하도록 돕습니다. 현재 도구 스키마를 탐색하고, zyte_api 연결을 확인하며, Web Scraping 작업을 더 적은 추측으로 수행할 수 있게 합니다.

zenserp-automation은 에이전트가 Composio Rube MCP를 통해 Zenserp 작업을 실행하도록 돕습니다. Zenserp를 연결하고, 먼저 현재 tool schema를 확인한 뒤, SEO 리서치에 필요한 SERP 데이터를 수집할 때 사용할 수 있습니다.

webscraping-ai-automation은 Composio의 Rube MCP를 통해 Web Scraping을 수행하는 Claude 스킬입니다. 설정 확인, 도구 탐색, 스키마 우선 사용 가이드를 제공합니다.

serpdog-automation은 에이전트가 Composio Rube MCP를 통해 Serpdog 작업을 실행하도록 돕습니다. 현재 도구 스키마를 검색하고, serpdog 연결 상태를 확인하며, SEO/SERP 리서치 워크플로를 더 적은 추측으로 수행할 수 있게 해 줍니다.

scrapingbee-automation은 에이전트가 Composio Rube MCP를 통해 ScrapingBee 웹 스크래핑 작업을 실행하도록 돕습니다. 먼저 현재 tool schema를 탐색하고, ScrapingBee 연결 상태를 확인한 뒤, 더 안전한 워크플로를 실행하는 방식입니다.

scrapingant-automation은 에이전트가 먼저 최신 tool schema를 확인하고, scrapingant connection을 점검한 뒤, 적절한 tool을 실행해 Composio Rube MCP에서 Scrapingant 작업을 수행하도록 돕습니다. 독립형 scraper script가 아니라 MCP 기반 Web Scraping 워크플로에 사용하세요.

scrapfly-automation은 에이전트가 Composio Rube MCP를 통해 Scrapfly 웹 스크래핑 작업을 실행하도록 돕습니다. 현재 사용 가능한 도구를 찾고, Scrapfly connection을 확인하며, 오래된 스키마 사용을 피하도록 안내합니다.

Rube MCP를 통해 Composio Rube MCP에서 Scrapegraph AI를 사용하는 scrapegraph-ai-automation 스킬 가이드입니다. MCP 연결을 설정하고, RUBE_SEARCH_TOOLS로 최신 스키마를 확인한 뒤, 웹 스크래핑 워크플로를 실행하는 방법을 안내합니다.

PhantomBuster Automation은 Claude가 Composio MCP를 통해 PhantomBuster를 조작해 에이전트와 스크립트를 나열하고, 할당량을 모니터링하며, 실행 내역을 점검하고, 통제된 웹 스크래핑 또는 리드 생성 워크플로를 지원하도록 돕습니다.

parsehub-automation은 Composio Rube MCP를 통해 ParseHub workflows를 실행하기 위한 Claude skill 가이드입니다. 설정에 필요한 배경, RUBE_SEARCH_TOOLS discovery, 연결 상태 확인, Web Scraping 작업을 안전하게 다루는 사용 패턴을 안내합니다.

hyperbrowser-automation은 먼저 현재 tool 스키마를 확인하고 Hyperbrowser 연결 상태를 점검한 뒤 브라우저 자동화 작업을 실행하도록 도와, 에이전트가 Composio Rube MCP를 통해 Hyperbrowser 워크플로를 실행할 수 있게 합니다.

Firecrawl Automation은 Claude Code가 Composio를 통해 Firecrawl을 실행해 페이지 스크래핑, 사이트 크롤링, 구조화 데이터 추출, URL 일괄 처리, 사이트 구조 매핑을 수행하도록 돕습니다. 범위가 제한되고 크레딧 사용을 고려한 워크플로우에 맞춰 설계되었습니다.

diffbot-automation은 Claude가 Composio Rube MCP를 통해 Diffbot을 사용할 수 있도록 돕습니다. 현재 도구 스키마를 탐색하고 Diffbot 연결을 확인하며, 구조화된 웹 데이터 작업을 안전하게 실행하도록 안내합니다.

browseai-automation은 Claude가 Composio Rube MCP를 통해 Browse AI 워크플로를 실행하도록 돕습니다. 실행 전 필수 도구 검색, 연결 확인, 최신 스키마 확인을 거치도록 구성되어 있습니다.

brightdata-automation은 에이전트가 Composio Rube MCP를 통해 Bright Data 워크플로를 실행하도록 돕습니다. 현재 도구 스키마를 검색하고, Bright Data 연결 상태를 확인하며, 추측을 줄인 방식으로 작업을 실행할 수 있게 합니다.

Apify Automation은 Composio를 통해 Apify Actor를 실행하는 Claude skill입니다. MCP를 연결하고, 동기식 또는 비동기식 scraping job을 실행하며, dataset을 가져오고, task를 만들고, log를 확인할 수 있습니다.

agentql-automation은 Claude가 Composio Rube MCP를 통해 AgentQL 브라우저 자동화를 실행하도록 돕습니다. 스키마 우선 도구 탐색, 연결 확인, 더 안전한 실행 단계를 지원합니다.

browser-automation은 agents가 scraping, form filling, screenshots, downloads, session handling, structured data extraction을 위한 Playwright workflows를 만들 수 있도록 돕습니다. E2E testing이 아니라 프로덕션 browser automation에 초점을 맞춘 recipes, API references, helper scripts를 제공합니다.

baoyu-url-to-markdown은 Chrome CDP, 사이트별 어댑터, 범용 폴백을 활용해 실시간 URL을 Markdown으로 변환합니다. vendored baoyu-fetch CLI 기반으로 동작하며, Bun 런타임 요구사항, 최초 EXTEND.md 설정, 그리고 X, YouTube, Hacker News, 렌더링 페이지에서의 사용 방식까지 검토할 수 있습니다.

Hugging Face Dataset Viewer API 작업에 이 huggingface-datasets 스킬을 사용해 데이터셋을 검증하고, split을 확인하며, 행을 미리 보고 페이지네이션하고, 텍스트를 검색하고, 필터를 적용하고, parquet 링크나 통계를 가져올 수 있습니다. 읽기 전용 데이터셋 탐색을 위한 실용적인 huggingface-datasets 가이드입니다.

burpsuite-project-parser는 Burp Suite Professional과 burpsuite-project-file-parser 확장을 사용해 Burp Suite 프로젝트 파일(.burp)에서 데이터를 검색하고 추출합니다. 보안 감사 결과, 프록시 기록, 사이트맵 항목, 캡처된 HTTP 트래픽 전반의 정규식 검색에 활용할 수 있습니다.