Llama Cpp

huggingface-local-models 帮你找到可在本地通过 llama.cpp 和 GGUF 运行的 Hugging Face 模型，选择合适的量化版本，并在 CPU、Apple Metal、CUDA 或 ROCm 上启动。内容涵盖模型发现、精确的 GGUF 文件定位、server 与 CLI 的配置，以及面向后端开发和私有本地推理的快速路径。