- Catégorie
- IA et agents
- Création
- Loïcazerothl
- Plateforme
- APIServeur personnel
- Disponibilité
- À héberger
- Projet
- Code public
À propos de cette application
LLM Router expose un point d'entrée compatible avec OpenAI et sélectionne un modèle selon la tâche. Il peut associer OpenRouter, OpenAI, Anthropic, Google et Ollama dans des chaînes de repli.
Le code documente le suivi des coûts et de la latence ainsi que la désactivation temporaire des modèles en échec. Le projet est publié sous le compte AkashaBot, piloté par Loïc.
Ce que vous pouvez faire
- Répartir les requêtes selon la tâche.
- Configurer plusieurs fournisseurs et des replis.
- Suivre les coûts et la latence.
- Écarter temporairement un modèle en échec.
