Llama Cpp

huggingface-local-models vous aide à trouver des modèles Hugging Face exécutables en local avec llama.cpp et GGUF, à choisir une quantification adaptée, puis à les lancer sur CPU, Apple Metal, CUDA ou ROCm. Le guide couvre la découverte des modèles, la recherche exacte des fichiers GGUF, la configuration en mode serveur ou en ligne de commande, ainsi qu’un chemin rapide pour le développement backend et l’inférence locale privée.