Scraping

browser-use는 페이지 열기, 상태 확인, 인덱스된 요소 클릭, 입력 필드 타이핑, 스크린샷 촬영, 그리고 지속형 브라우저 세션 재사용을 지원하는 브라우저 자동화 스킬입니다. browser-use CLI를 활용해 안정적인 폼 입력, 페이지 이동, 로그인 기반 워크플로에 적합합니다.

baoyu-url-to-markdown은 Chrome CDP, 사이트별 어댑터, 범용 폴백을 활용해 실시간 URL을 Markdown으로 변환합니다. vendored baoyu-fetch CLI 기반으로 동작하며, Bun 런타임 요구사항, 최초 EXTEND.md 설정, 그리고 X, YouTube, Hacker News, 렌더링 페이지에서의 사용 방식까지 검토할 수 있습니다.

multi-search-engine는 17개의 검색 엔진, 고급 연산자, 기간 필터, 프라이버시 중심 옵션, WolframAlpha 쿼리를 지원하는 웹 리서치 스킬입니다. API 키 없이도 에이전트가 더 적절한 검색 URL을 구성하고 실행할 수 있도록 돕습니다.

web-to-markdown은 Format Conversion용 skill로, 로컬 `web2md` CLI를 사용해 실제 웹페이지를 깔끔한 Markdown으로 변환합니다. JS 렌더링 페이지, 상호작용이 필요한 흐름, 여러 URL의 일괄 변환까지 Chromium 계열 브라우저를 통해 처리할 수 있으며, 이름으로 명시적으로 호출될 때만 실행됩니다.

firecrawl-agent는 복잡한 다중 페이지 웹사이트에서 구조화된 JSON을 추출할 때 유용합니다. 어떤 상황에서 적합한지, Firecrawl CLI agent를 실행하는 방법, schema 추가, 시작 URL 설정, 그리고 가격 정보·상품 목록·디렉터리형 데이터 추출 결과를 저장하는 방법까지 빠르게 파악할 수 있습니다.

firecrawl-browser는 대화형 웹 자동화를 위한 Firecrawl 스킬입니다. 현재는 독립적인 브라우저 명령으로는 deprecated 상태이며, 클릭, 폼 입력, 로그인 플로우, 페이지네이션, JavaScript 비중이 높은 페이지에서는 `firecrawl scrape` 후 `firecrawl interact`를 사용하는 방식으로 안내합니다.

공식 Firecrawl CLI를 설치하고 인증한 뒤 웹 스크래핑, 검색, 크롤링, 페이지 상호작용에 활용하는 firecrawl 스킬입니다. 설정 방법, `firecrawl --status` 확인, 로그인, `.firecrawl/`로의 안전한 파일 출력, 그리고 repo 근거 기반의 실용적인 사용 패턴까지 익힐 수 있습니다.

firecrawl-crawl은 path 필터, depth 제한, 페이지 수 상한, wait 모드, 작업 상태 확인을 통해 웹사이트나 docs 섹션의 콘텐츠를 대량으로 추출할 수 있게 도와주는 스킬입니다.

firecrawl-download는 사이트나 문서 섹션을 `.firecrawl/` 아래의 정리된 로컬 파일로 저장할 수 있게 해주는 스킬입니다. 사이트 맵핑과 스크래핑을 함께 수행하며, markdown, 링크, 스크린샷을 지원합니다. 오프라인 문서 사본 생성, 여러 페이지 일괄 수집, 실무형 Web Scraping 워크플로에 유용합니다.

firecrawl-search는 웹 리서치용 스킬로, 출처를 찾고 구조화된 검색을 수행하며, 필요하면 Firecrawl CLI로 전체 페이지 콘텐츠를 JSON으로 스크래핑할 수 있습니다.

firecrawl-map은 사이트의 URL을 찾아 목록화할 때 유용한 스킬로, 더 깊은 scraping이나 crawling에 들어가기 전에 검색 필터링, 개수 제한, JSON 출력, sitemap 모드, 서브도메인 제어 같은 옵션을 활용할 수 있습니다.

firecrawl-scrape는 이미 알고 있는 URL에서 LLM이 활용하기 좋은 깔끔한 콘텐츠를 추출하도록 도와주며, JS로 렌더링되는 페이지도 처리할 수 있습니다. Firecrawl CLI 또는 `npx firecrawl`로 markdown, 링크, 또는 페이지별 질의 응답 형태의 결과를 스크래핑할 때 유용합니다.

x-twitter-scraper를 사용해 X(Twitter) 데이터와 확인이 필요한 작업을 Xquik으로 조회하세요. 트윗 검색, 사용자 조회, 팔로워 추출, 미디어 다운로드, 모니터링, 웹훅, MCP, 쓰기 작업을 지원합니다. X 로그인 비밀정보가 아닌 API 키를 사용하는 웹 스크래핑형 조사에 가장 적합합니다.

tweetclaw은 구조화된 X/Twitter 워크플로를 위한 설치형 OpenClaw 플러그인입니다. 이 tweetclaw 스킬은 설치, 설정, 자격 증명 경계, 쓰기 및 유료 작업에 대한 명시적 승인, 비공개 데이터 처리, 모니터 제어, 그리고 더 안전한 소셜 미디어 운영을 위한 실용적인 tweetclaw 사용법을 다룹니다.

reddit 스킬은 공개 JSON API를 통해 Reddit 게시물, 댓글 스레드, 서브레딧 메타데이터, 사용자 프로필을 가져옵니다. Reddit 리서치, 서브레딧 스캔, 그리고 단순 요약이 아니라 실제 게시물을 바탕으로 한 웹 리서치에 적합하도록 만들어졌습니다. API 키는 필요하지 않습니다.