Rbitnet

Un motor de inferencia local escrito en Rust.

Loïc / azerothl
Descubrir
Categoría
IA y agentes
Creación
Loïcazerothl
Plataforma
OrdinateurServeur local
Disponibilidad
Autoalojado
Proyecto
Código público

Acerca de esta aplicación

Rbitnet ofrece un motor de inferencia local escrito en Rust y un servidor HTTP compatible con la API de OpenAI. Carga modelos GGUF según las arquitecturas admitidas en su documentación.

Sirve, entre otras cosas, como motor local de Akasha. El repositorio publica las versiones y las instrucciones para ejecutarlo o integrarlo con otras herramientas.

Qué puedes hacer

  • Exécuter les modèles GGUF pris en charge.
  • Exposer une API HTTP compatible avec OpenAI.
  • Utiliser un moteur local depuis Akasha.