Web Scraping

remote-browser는 샌드박스 환경의 에이전트가 Browser Automation을 위해 헤드리스 브라우저를 제어할 수 있게 해주는 스킬입니다. 페이지 열기, 상태 확인, 인덱스 기반 요소 클릭, 입력 타이핑, 스크린샷 촬영은 물론 로컬 앱이나 CDP 기반 브라우저 세션 연결에도 사용할 수 있습니다.

browser-use는 페이지 열기, 상태 확인, 인덱스된 요소 클릭, 입력 필드 타이핑, 스크린샷 촬영, 그리고 지속형 브라우저 세션 재사용을 지원하는 브라우저 자동화 스킬입니다. browser-use CLI를 활용해 안정적인 폼 입력, 페이지 이동, 로그인 기반 워크플로에 적합합니다.

firecrawl-agent는 복잡한 다중 페이지 웹사이트에서 구조화된 JSON을 추출할 때 유용합니다. 어떤 상황에서 적합한지, Firecrawl CLI agent를 실행하는 방법, schema 추가, 시작 URL 설정, 그리고 가격 정보·상품 목록·디렉터리형 데이터 추출 결과를 저장하는 방법까지 빠르게 파악할 수 있습니다.

firecrawl-browser는 대화형 웹 자동화를 위한 Firecrawl 스킬입니다. 현재는 독립적인 브라우저 명령으로는 deprecated 상태이며, 클릭, 폼 입력, 로그인 플로우, 페이지네이션, JavaScript 비중이 높은 페이지에서는 `firecrawl scrape` 후 `firecrawl interact`를 사용하는 방식으로 안내합니다.

공식 Firecrawl CLI를 설치하고 인증한 뒤 웹 스크래핑, 검색, 크롤링, 페이지 상호작용에 활용하는 firecrawl 스킬입니다. 설정 방법, `firecrawl --status` 확인, 로그인, `.firecrawl/`로의 안전한 파일 출력, 그리고 repo 근거 기반의 실용적인 사용 패턴까지 익힐 수 있습니다.

firecrawl-crawl은 path 필터, depth 제한, 페이지 수 상한, wait 모드, 작업 상태 확인을 통해 웹사이트나 docs 섹션의 콘텐츠를 대량으로 추출할 수 있게 도와주는 스킬입니다.

firecrawl-download는 사이트나 문서 섹션을 `.firecrawl/` 아래의 정리된 로컬 파일로 저장할 수 있게 해주는 스킬입니다. 사이트 맵핑과 스크래핑을 함께 수행하며, markdown, 링크, 스크린샷을 지원합니다. 오프라인 문서 사본 생성, 여러 페이지 일괄 수집, 실무형 Web Scraping 워크플로에 유용합니다.

firecrawl-search는 웹 리서치용 스킬로, 출처를 찾고 구조화된 검색을 수행하며, 필요하면 Firecrawl CLI로 전체 페이지 콘텐츠를 JSON으로 스크래핑할 수 있습니다.

firecrawl-map은 사이트의 URL을 찾아 목록화할 때 유용한 스킬로, 더 깊은 scraping이나 crawling에 들어가기 전에 검색 필터링, 개수 제한, JSON 출력, sitemap 모드, 서브도메인 제어 같은 옵션을 활용할 수 있습니다.

firecrawl-scrape는 이미 알고 있는 URL에서 LLM이 활용하기 좋은 깔끔한 콘텐츠를 추출하도록 도와주며, JS로 렌더링되는 페이지도 처리할 수 있습니다. Firecrawl CLI 또는 `npx firecrawl`로 markdown, 링크, 또는 페이지별 질의 응답 형태의 결과를 스크래핑할 때 유용합니다.