Llama Cpp

huggingface-local-models giúp bạn tìm các model trên Hugging Face có thể chạy cục bộ với llama.cpp và GGUF, chọn mức quant phù hợp, và khởi chạy trên CPU, Apple Metal, CUDA hoặc ROCm. Skill này bao quát việc khám phá model, dò đúng file GGUF, thiết lập theo kiểu server hay CLI, và một lối đi nhanh cho phát triển backend cũng như suy luận cục bộ riêng tư.