Web Scraping

data-scraper-agent는 웹 스크래핑, 데이터 보강, 저장을 위한 반복 가능한 공개 데이터 파이프라인 구축을 돕습니다. GitHub Actions를 사용해 일정에 맞춰 작업, 가격, 뉴스, 저장소, 스포츠, 목록을 모니터링하도록 설계되었으며, 결과는 Notion, Sheets, 또는 Supabase로 보낼 수 있습니다. 일회성 추출보다는 지속적인 추적에 가장 적합합니다.

remote-browser는 샌드박스 환경의 에이전트가 Browser Automation을 위해 헤드리스 브라우저를 제어할 수 있게 해주는 스킬입니다. 페이지 열기, 상태 확인, 인덱스 기반 요소 클릭, 입력 타이핑, 스크린샷 촬영은 물론 로컬 앱이나 CDP 기반 브라우저 세션 연결에도 사용할 수 있습니다.

browser-use는 페이지 열기, 상태 확인, 인덱스된 요소 클릭, 입력 필드 타이핑, 스크린샷 촬영, 그리고 지속형 브라우저 세션 재사용을 지원하는 브라우저 자동화 스킬입니다. browser-use CLI를 활용해 안정적인 폼 입력, 페이지 이동, 로그인 기반 워크플로에 적합합니다.

baoyu-url-to-markdown은 Chrome CDP, 사이트별 어댑터, 범용 폴백을 활용해 실시간 URL을 Markdown으로 변환합니다. vendored baoyu-fetch CLI 기반으로 동작하며, Bun 런타임 요구사항, 최초 EXTEND.md 설정, 그리고 X, YouTube, Hacker News, 렌더링 페이지에서의 사용 방식까지 검토할 수 있습니다.

Hugging Face Dataset Viewer API 작업에 이 huggingface-datasets 스킬을 사용해 데이터셋을 검증하고, split을 확인하며, 행을 미리 보고 페이지네이션하고, 텍스트를 검색하고, 필터를 적용하고, parquet 링크나 통계를 가져올 수 있습니다. 읽기 전용 데이터셋 탐색을 위한 실용적인 huggingface-datasets 가이드입니다.

burpsuite-project-parser는 Burp Suite Professional과 burpsuite-project-file-parser 확장을 사용해 Burp Suite 프로젝트 파일(.burp)에서 데이터를 검색하고 추출합니다. 보안 감사 결과, 프록시 기록, 사이트맵 항목, 캡처된 HTTP 트래픽 전반의 정규식 검색에 활용할 수 있습니다.

web-to-markdown은 Format Conversion용 skill로, 로컬 `web2md` CLI를 사용해 실제 웹페이지를 깔끔한 Markdown으로 변환합니다. JS 렌더링 페이지, 상호작용이 필요한 흐름, 여러 URL의 일괄 변환까지 Chromium 계열 브라우저를 통해 처리할 수 있으며, 이름으로 명시적으로 호출될 때만 실행됩니다.

query 스킬은 연결된 데이터베이스에 대해 DuckDB 쿼리를 실행하거나 파일을 직접 대상으로 실행합니다. SQL 또는 자연어 질문을 받을 수 있으며, 세션 모드와 즉석(ad-hoc) 모드를 모두 지원합니다. Data Analysis, 빠른 점검, 그리고 DuckDB Friendly SQL을 활용한 반복적인 쿼리 작업에 유용합니다.

firecrawl-agent는 복잡한 다중 페이지 웹사이트에서 구조화된 JSON을 추출할 때 유용합니다. 어떤 상황에서 적합한지, Firecrawl CLI agent를 실행하는 방법, schema 추가, 시작 URL 설정, 그리고 가격 정보·상품 목록·디렉터리형 데이터 추출 결과를 저장하는 방법까지 빠르게 파악할 수 있습니다.

firecrawl-browser는 대화형 웹 자동화를 위한 Firecrawl 스킬입니다. 현재는 독립적인 브라우저 명령으로는 deprecated 상태이며, 클릭, 폼 입력, 로그인 플로우, 페이지네이션, JavaScript 비중이 높은 페이지에서는 `firecrawl scrape` 후 `firecrawl interact`를 사용하는 방식으로 안내합니다.

공식 Firecrawl CLI를 설치하고 인증한 뒤 웹 스크래핑, 검색, 크롤링, 페이지 상호작용에 활용하는 firecrawl 스킬입니다. 설정 방법, `firecrawl --status` 확인, 로그인, `.firecrawl/`로의 안전한 파일 출력, 그리고 repo 근거 기반의 실용적인 사용 패턴까지 익힐 수 있습니다.

firecrawl-crawl은 path 필터, depth 제한, 페이지 수 상한, wait 모드, 작업 상태 확인을 통해 웹사이트나 docs 섹션의 콘텐츠를 대량으로 추출할 수 있게 도와주는 스킬입니다.

firecrawl-download는 사이트나 문서 섹션을 `.firecrawl/` 아래의 정리된 로컬 파일로 저장할 수 있게 해주는 스킬입니다. 사이트 맵핑과 스크래핑을 함께 수행하며, markdown, 링크, 스크린샷을 지원합니다. 오프라인 문서 사본 생성, 여러 페이지 일괄 수집, 실무형 Web Scraping 워크플로에 유용합니다.

firecrawl-search는 웹 리서치용 스킬로, 출처를 찾고 구조화된 검색을 수행하며, 필요하면 Firecrawl CLI로 전체 페이지 콘텐츠를 JSON으로 스크래핑할 수 있습니다.

firecrawl-map은 사이트의 URL을 찾아 목록화할 때 유용한 스킬로, 더 깊은 scraping이나 crawling에 들어가기 전에 검색 필터링, 개수 제한, JSON 출력, sitemap 모드, 서브도메인 제어 같은 옵션을 활용할 수 있습니다.

firecrawl-scrape는 이미 알고 있는 URL에서 LLM이 활용하기 좋은 깔끔한 콘텐츠를 추출하도록 도와주며, JS로 렌더링되는 페이지도 처리할 수 있습니다. Firecrawl CLI 또는 `npx firecrawl`로 markdown, 링크, 또는 페이지별 질의 응답 형태의 결과를 스크래핑할 때 유용합니다.

x-twitter-scraper를 사용해 X(Twitter) 데이터와 확인이 필요한 작업을 Xquik으로 조회하세요. 트윗 검색, 사용자 조회, 팔로워 추출, 미디어 다운로드, 모니터링, 웹훅, MCP, 쓰기 작업을 지원합니다. X 로그인 비밀정보가 아닌 API 키를 사용하는 웹 스크래핑형 조사에 가장 적합합니다.

parallel-web은 parallel-cli로 구동되는 웹 리서치 및 추출 스킬입니다. 웹 검색, URL 콘텐츠 추출, 출처 기반 데이터 보강, 그리고 학술·과학 자료를 우선하는 심층 리서치를 지원합니다. parallel-web 사용법, 웹 리서치, 인용, 증거 우선 워크플로에 활용하기 좋습니다.

geomaster는 GIS, 원격탐사, 공간 분석, 지구 관측 워크플로를 위한 지리공간 과학 스킬입니다. 래스터·벡터 연산, 위성 이미지 처리, 공간 지표 산출, 워크플로 계획 같은 Data Analysis 작업에 활용할 수 있습니다. geomaster 가이드는 이 스킬을 더 적은 시행착오로 설치, 점검, 적용할 수 있도록 도와줍니다.

exa-search는 Exa로 구동되는 웹 리서치 스킬로, 최신 정보를 찾고 URL에서 콘텐츠를 추출하는 데 사용합니다. 검색, 출처 탐색, 기사 및 PDF 추출, 그리고 의미 기반 검색과 학술 스타일 필터링, 명확한 설치·사용 안내가 필요한 기술·과학 리서치에 적합합니다.

asc-aso-audit는 `./metadata`에 있는 정규 App Store 메타데이터를 대상으로 오프라인 ASO 감사를 실행한 뒤, Astro MCP로 키워드 공백을 찾아내는 데 도움을 줍니다. `asc metadata pull` 이후 asc-aso-audit skill을 사용하면 `subtitle`, `keywords`, `description`, `whatsNew`를 더 적은 추측으로 검토할 수 있습니다.

ffuf-web-fuzzing은 숨겨진 웹 콘텐츠를 찾고, 경로와 파라미터를 테스트하며, 원시 요청, 자동 보정, 결과 분석으로 인증된 대상을 퍼징하는 실용적인 스킬입니다. 침투 테스트와 Security Audit 워크플로우에서 반복해서 쓸 수 있는 ffuf-web-fuzzing 가이드가 필요한 보안 테스터에게 잘 맞습니다.

twitter skill은 twitterapi.io를 통해 Twitter/X의 실시간 데이터를 가져옵니다. 사용자 프로필, 트윗, 답글, 팔로워, 팔로잉, 커뮤니티, Spaces, 트렌드, 검색 결과를 포함합니다. 프롬프트만 보고 추측하기보다, 사실 확인, 계정 조사, 소셜 미디어 검증에 활용하세요.