Firecrawl

firecrawl-crawl은 path 필터, depth 제한, 페이지 수 상한, wait 모드, 작업 상태 확인을 통해 웹사이트나 docs 섹션의 콘텐츠를 대량으로 추출할 수 있게 도와주는 스킬입니다.

firecrawl-download는 사이트나 문서 섹션을 `.firecrawl/` 아래의 정리된 로컬 파일로 저장할 수 있게 해주는 스킬입니다. 사이트 맵핑과 스크래핑을 함께 수행하며, markdown, 링크, 스크린샷을 지원합니다. 오프라인 문서 사본 생성, 여러 페이지 일괄 수집, 실무형 Web Scraping 워크플로에 유용합니다.

firecrawl-search는 웹 리서치용 스킬로, 출처를 찾고 구조화된 검색을 수행하며, 필요하면 Firecrawl CLI로 전체 페이지 콘텐츠를 JSON으로 스크래핑할 수 있습니다.

firecrawl-map은 사이트의 URL을 찾아 목록화할 때 유용한 스킬로, 더 깊은 scraping이나 crawling에 들어가기 전에 검색 필터링, 개수 제한, JSON 출력, sitemap 모드, 서브도메인 제어 같은 옵션을 활용할 수 있습니다.

firecrawl-scrape는 이미 알고 있는 URL에서 LLM이 활용하기 좋은 깔끔한 콘텐츠를 추출하도록 도와주며, JS로 렌더링되는 페이지도 처리할 수 있습니다. Firecrawl CLI 또는 `npx firecrawl`로 markdown, 링크, 또는 페이지별 질의 응답 형태의 결과를 스크래핑할 때 유용합니다.