ai-rag-pipeline

Tổng quan

ai-rag-pipeline là gì?

Kỹ năng ai-rag-pipeline giúp bạn xây dựng các workflow Retrieval Augmented Generation (RAG) kết hợp tìm kiếm web thời gian thực với large language model thông qua CLI inference.sh (infsh). Nó cung cấp một mẫu (pattern) đơn giản cho:

• Thực hiện nghiên cứu web với các công cụ như Tavily Search và Exa
• Truyền kết quả tìm kiếm đó vào các LLM như Claude, GPT-4 hoặc Gemini (qua OpenRouter)
• Nhận được câu trả lời có dẫn nguồn, bám sát dữ liệu thay vì suy đoán vô căn cứ

Bên dưới, ai-rag-pipeline là một pattern thân thiện với shell để xâu chuỗi các lệnh infsh app run, giúp bạn nhanh chóng prototyping các pipeline kiểu RAG cho nghiên cứu, hỏi–đáp và kiểm chứng thông tin.

Kỹ năng này dành cho ai?

ai-rag-pipeline phù hợp nếu bạn:

• Dùng inference.sh để điều phối các công cụ LLM từ dòng lệnh
• Muốn câu trả lời kiểu nghiên cứu có trích dẫn hoặc ngữ cảnh web rõ ràng
• Đang xây dựng AI research agent hoặc workflow trợ lý cần luôn cập nhật
• Cần kiểm chứng thông tin hoặc tóm tắt dựa trên web từ nhiều nguồn khác nhau

Đặc biệt hữu ích cho lập trình viên, nhà nghiên cứu data/AI và power user quen với Bash, CLI và input JSON.

ai-rag-pipeline giải quyết vấn đề gì?

Kỹ năng này tập trung vào một use case RAG phổ biến: kết hợp tìm kiếm và LLM theo cách có thể lặp lại, script được. Nó giúp bạn:

• Vượt ra ngoài chat một prompt để làm nghiên cứu theo pipeline
• Dùng Tavily hoặc Exa để lấy thông tin mới, phù hợp
• Đưa nội dung đó vào Claude, GPT-4, Gemini (qua OpenRouter) thông qua infsh
• Tạo ra câu trả lời có thể kiểm tra, audit và tái sử dụng trong các công cụ hoặc agent khác

Nếu bạn muốn một workflow kiểu Perplexity nhưng dùng công cụ và model của riêng mình, ai-rag-pipeline cung cấp những khối xây dựng cơ bản.

Khi nào ai-rag-pipeline không phù hợp?

Hãy cân nhắc kỹ năng hoặc cách tiếp cận khác nếu:

• Bạn không dùng inference.sh CLI hoặc không thể cài nó
• Bạn cần một web app hoặc GUI đóng gói sẵn (kỹ năng này thuần CLI/bash)
• Bạn cần index sâu, chuyên ngành trên tài liệu riêng (kỹ năng này tập trung vào pattern tìm kiếm web thời gian thực, không phải thiết lập đầy đủ vector database)

Với các bài toán tự động hóa cấp cao hơn quanh tài liệu, knowledge base hoặc agent, hãy dùng ai-rag-pipeline như một khối RAG cấp thấp và kết hợp nó với các kỹ năng khác.

Cách sử dụng

Điều kiện tiên quyết

Trước khi cài ai-rag-pipeline, hãy đảm bảo:

• Bạn đã cài inference.sh CLI (infsh).
  • Repo upstream có liên kết hướng dẫn cài đặt tại:
    • https://raw.githubusercontent.com/inference-sh/skills/refs/heads/main/cli-install.md
• Bạn có thể chạy infsh login và xác thực thành công.
• Bạn có quyền truy cập vào các công cụ bạn định dùng (ví dụ: Tavily, Exa, các model qua OpenRouter) thông qua inference.sh.

Cài đặt kỹ năng ai-rag-pipeline

Trong môi trường đã bật Agent Skills, cài kỹ năng bằng:

npx skills add https://github.com/inferen-sh/skills --skill ai-rag-pipeline

Lệnh này lấy definition ai-rag-pipeline từ tools/llm/ai-rag-pipeline trong repository inferen-sh/skills và đưa nó vào agent hoặc workspace của bạn.

Sau khi cài, mở phần Files và xem:

• SKILL.md – mô tả cốt lõi và hướng dẫn nhanh

Bắt đầu nhanh: Pipeline RAG tìm kiếm + trả lời đơn giản

File SKILL minh họa một flow RAG tối thiểu dùng CLI infsh.

1. Đăng nhập inference.sh:

infsh login

2. Chạy tìm kiếm Tavily và lưu kết quả vào một biến Bash:

SEARCH=$(infsh app run tavily/search-assistant --input '{"query": "latest AI developments 2024"}')

3. Truyền phần nghiên cứu đó vào một LLM (ví dụ: model Claude qua OpenRouter) để tóm tắt:

infsh app run openrouter/claude-sonnet-45 --input "{
  \"prompt\": \"Based on this research, summarize the key trends: $SEARCH\"
}"

Pattern này thể hiện ý tưởng cốt lõi của ai-rag-pipeline:

• Retrieval – tavily/search-assistant thực hiện nghiên cứu web
• Augmentation – output tìm kiếm được nhúng vào prompt của bạn dưới dạng $SEARCH
• Generation – model Claude tạo bản tóm tắt dựa trên phần nghiên cứu đó

Bạn có thể thay thế bằng các công cụ tìm kiếm khác (ví dụ: Exa Search / Exa Answer) hoặc model khác (ví dụ: GPT-4, Gemini qua OpenRouter) miễn là chúng được hỗ trợ trong setup inference.sh của bạn.

Tùy biến workflow RAG

Khi flow cơ bản đã chạy ổn, hãy điều chỉnh cho use case của bạn:

1. Thay đổi truy vấn nghiên cứu

Tùy biến trường query cho lĩnh vực của bạn:

SEARCH=$(infsh app run tavily/search-assistant --input '{"query": "impact of LLMs on healthcare regulation"}')

2. Dùng model khác

Thay openrouter/claude-sonnet-45 bằng một app LLM khác được cấu hình trong inference.sh, chẳng hạn route dùng GPT-4 hoặc Gemini nếu môi trường của bạn hỗ trợ.

3. Điều chỉnh phong cách output

Sửa nội dung prompt để yêu cầu:

• Tóm tắt dạng bullet
• Danh sách ưu/nhược điểm
• Báo cáo kiểm chứng thông tin
• Ghi chú học tập có trích dẫn

Ví dụ:

infsh app run openrouter/claude-sonnet-45 --input "{
  \"prompt\": \"Using the sources in $SEARCH, write a concise fact-check report. Highlight any conflicting claims and clearly list cited URLs.\"
}"

4. Đóng gói thành script dùng lại

Vì ai-rag-pipeline thân thiện với Bash, bạn có thể đưa pattern này vào shell script để tái sử dụng:

• research-topic.sh – nhận một chủ đề và trả về tóm tắt dựa trên web
• fact-check.sh – nhận một khẳng định, chạy tìm kiếm và tạo báo cáo kiểm chứng
• briefing.sh – tạo bản briefing từ các nguồn mới nhất trong một lĩnh vực

Gọi các script này từ agent hoặc job CI để tự động hóa quy trình nghiên cứu.

Tích hợp với AI agent và workflow

ai-rag-pipeline được thiết kế để hoạt động với các framework agent có khả năng:

• Gọi Bash (SKILL cho phép Bash(infsh *))
• Cần một bước RAG để lấy và gắn ngữ cảnh trước khi sinh câu trả lời

Một số dạng tích hợp điển hình:

• AI research assistant tự động gọi infsh app run tavily/... trước khi trả lời
• Fact-checking agent chạy một pipeline tìm kiếm trước khi xác nhận hoặc bác bỏ khẳng định
• Trình cập nhật knowledge base định kỳ lấy và tóm tắt tin tức mới nhất về các chủ đề nhất định

Bằng cách chuẩn hóa theo pattern này, agent của bạn có thể tái sử dụng cùng một logic RAG trong khi chỉ thay đổi truy vấn, công cụ hoặc model khi cần.

Câu hỏi thường gặp (FAQ)

Nói đơn giản thì ai-rag-pipeline là gì?

ai-rag-pipeline là một bản mẫu RAG nhỏ, tập trung vào CLI, giúp agent của bạn học cách:

1. Gọi các công cụ tìm kiếm web qua CLI inference.sh
2. Thu nhận output tìm kiếm
3. Truyền output đó vào LLM để tạo câu trả lời bám nguồn, có dẫn chứng

Nó không cố trở thành một framework đầy đủ; thay vào đó, nó mang đến một pattern thực tế, dễ tùy biến.

Tôi có cần inference.sh để dùng ai-rag-pipeline không?

Có. Kỹ năng này được xây dựng xoay quanh CLI inference.sh (infsh). Phần Bắt đầu nhanh và các lệnh ví dụ đều phụ thuộc vào infsh app run .... Nếu bạn không dùng inference.sh, kỹ năng này sẽ không áp dụng trực tiếp.

Tôi có thể dùng những công cụ và model nào với ai-rag-pipeline?

Phần mô tả SKILL tham chiếu các nhóm công cụ và model sau, miễn là chúng được expose trong setup inference.sh của bạn:

• Search / retrieval: Tavily Search, Exa Search, Exa Answer
• LLM qua OpenRouter: các biến thể Claude, GPT-4, Gemini (và các route OpenRouter khác mà tài khoản bạn hỗ trợ)

Chạy infsh app list để xem chính xác các app khả dụng trong môi trường của bạn.

Tôi có thể dùng ai-rag-pipeline để kiểm chứng thông tin không?

Có. Kiểm chứng thông tin là một trong những mục đích chính. Một flow điển hình:

1. Đặt khẳng định hoặc câu hỏi
2. Dùng Tavily hoặc Exa để thu thập nhiều nguồn
3. Yêu cầu LLM so sánh nguồn, nêu bật điểm mâu thuẫn và đưa ra kết luận có lý do

Vì câu trả lời được neo vào nội dung đã truy xuất, bạn có thể xem và kiểm chứng lại các nguồn gốc.

Đây có phải là framework RAG đầy đủ với vector database không?

Không. ai-rag-pipeline tập trung vào RAG dựa trên tìm kiếm web thời gian thực qua inference.sh. Nó không cấu hình database, embedding hay quản lý index cho corpus riêng. Tuy nhiên, bạn có thể kết hợp pattern này với lớp indexing của riêng bạn nếu môi trường expose các công cụ đó thông qua infsh.

Tôi debug sự cố với pipeline như thế nào?

Nếu có lỗi:

• Chạy từng lệnh infsh app run ... riêng lẻ để kiểm tra chúng trả về JSON hợp lệ
• Echo hoặc log biến $SEARCH để xem raw output của tìm kiếm
• Đơn giản hóa prompt và thêm hướng dẫn như "show your reasoning and list the URLs you used"
• Xem SKILL.md upstream để cập nhật ví dụ quick start mới nhất

Tôi có thể tìm hiểu thêm về khái niệm RAG ở đâu?

File SKILL có phần giải thích ngắn về RAG như một quy trình 3 bước: Retrieval → Augmentation → Generation. Để đào sâu hơn, hãy dùng chính ai-rag-pipeline:

SEARCH=$(infsh app run tavily/search-assistant --input '{"query": "introduction to retrieval augmented generation"}')
infsh app run openrouter/claude-sonnet-45 --input "{
  \"prompt\": \"Using the following sources, explain RAG to a developer audience: $SEARCH\"
}"

Cách này giúp bạn "tự bootstrapping" việc học RAG bằng chính pipeline mà bạn dự định triển khai.