LLM Router

Anfragen zwischen mehreren Modellen verteilen.

Loïc / azerothl
Entdecken
Kategorie
KI und Agenten
Entwickelt von
Loïcazerothl
Plattform
APIServeur personnel
Verfügbarkeit
Selbst gehostet
Projekt
Öffentlicher Quellcode

Über diese App

LLM Router bietet einen OpenAI-kompatiblen Endpunkt und wählt je nach Aufgabe ein Modell. Es kann OpenRouter, OpenAI, Anthropic, Google und Ollama in Ausweichketten verbinden.

Der Code dokumentiert Kosten- und Latenzverfolgung sowie die vorübergehende Deaktivierung fehlerhafter Modelle. Das Projekt wird unter dem von Loïc betreuten Konto AkashaBot veröffentlicht.

Was du machen kannst

  • Répartir les requêtes selon la tâche.
  • Configurer plusieurs fournisseurs et des replis.
  • Suivre les coûts et la latence.
  • Écarter temporairement un modèle en échec.