Llama Cpp

huggingface-local-models 協助你找出可搭配 llama.cpp 與 GGUF 在本機執行的 Hugging Face 模型，挑選實用的量化版本，並在 CPU、Apple Metal、CUDA 或 ROCm 上啟動。內容涵蓋模型搜尋、精確的 GGUF 檔案查找、server 與 CLI 設定，以及適合後端開發與私有本機推論的快速路徑。