Rbitnet

Un moteur d'inférence local écrit en Rust.

Loïc / azerothl
Découvrir
Catégorie
IA et agents
Création
Loïcazerothl
Plateforme
OrdinateurServeur local
Disponibilité
À héberger
Projet
Code public

À propos de cette application

Rbitnet fournit un moteur d'inférence local écrit en Rust et un serveur HTTP compatible avec l'API OpenAI. Il charge des modèles GGUF selon les architectures prises en charge dans sa documentation.

Il sert notamment de moteur local à Akasha. Le dépôt publie les versions et les instructions pour l'exécuter ou l'intégrer à d'autres outils.

Ce que vous pouvez faire

  • Exécuter les modèles GGUF pris en charge.
  • Exposer une API HTTP compatible avec OpenAI.
  • Utiliser un moteur local depuis Akasha.