LLM Router

Router les requêtes entre plusieurs modèles.

Loïc / azerothl
Découvrir
Catégorie
IA et agents
Création
Loïcazerothl
Plateforme
APIServeur personnel
Disponibilité
À héberger
Projet
Code public

À propos de cette application

LLM Router expose un point d'entrée compatible avec OpenAI et sélectionne un modèle selon la tâche. Il peut associer OpenRouter, OpenAI, Anthropic, Google et Ollama dans des chaînes de repli.

Le code documente le suivi des coûts et de la latence ainsi que la désactivation temporaire des modèles en échec. Le projet est publié sous le compte AkashaBot, piloté par Loïc.

Ce que vous pouvez faire

  • Répartir les requêtes selon la tâche.
  • Configurer plusieurs fournisseurs et des replis.
  • Suivre les coûts et la latence.
  • Écarter temporairement un modèle en échec.