Files
alex 825327ceeb
Some checks failed
Builder / Build addons (localai-p2p-master, amd64) (push) Failing after 15s
Builder / Build addons (localai-p2p-worker, amd64) (push) Failing after 14s
Validate / validate (push) Failing after 2s
Builder / Create release (push) Has been skipped
c
2025-05-30 11:44:30 +02:00

585 B

Configuration

Options

gpu_layers

Nombre de couches à décharger sur le GPU (0 = CPU uniquement).

debug

Active les logs de débogage.

models_path

Chemin vers le dossier des modèles.

Réseau P2P

Cet add-on crée automatiquement un réseau P2P pour distribuer la charge.

  1. Démarrez d'abord l'instance master
  2. Récupérez le token dans les logs ou l'interface web
  3. Configurez les workers avec ce token

Modèles supportés

  • GGUF (llama.cpp)
  • Formats compatibles LocalAI

Dépannage

Consultez les logs de l'add-on pour identifier les problèmes.