LLM Router

Dirigir peticiones entre varios modelos.

Loïc / azerothl
Descubrir
Categoría
IA y agentes
Creación
Loïcazerothl
Plataforma
APIServeur personnel
Disponibilidad
Autoalojado
Proyecto
Código público

Acerca de esta aplicación

LLM Router expone un punto de entrada compatible con OpenAI y selecciona un modelo según la tarea. Puede combinar OpenRouter, OpenAI, Anthropic, Google y Ollama en cadenas de respaldo.

El código documenta el seguimiento de costes y latencia y la desactivación temporal de modelos que fallan. El proyecto se publica con la cuenta AkashaBot, dirigida por Loïc.

Qué puedes hacer

  • Répartir les requêtes selon la tâche.
  • Configurer plusieurs fournisseurs et des replis.
  • Suivre les coûts et la latence.
  • Écarter temporairement un modèle en échec.