Alternativas a vLLM
Ordenadas por cuánto se parecen a vLLM y luego por puntuación.
Alternativas, clasificadas
-
Ollama
Entorno para descargar y ejecutar modelos de lenguaje de forma local, con CLI y API REST.
Actualizado hace 62 días5 93,5 = Comparar -
llama.cpp
Motor de inferencia en C/C++ para LLM en CPU y GPU, con formato GGUF y cuantización.
Actualizado hace 61 días6 93,0 = Comparar -
LocalAI
API autoalojada compatible con OpenAI que ejecuta modelos de texto, imagen y audio en hardware local.
Actualizado hace 62 días64 85,2 = Comparar -
LM Studio
Descubra, descargue y ejecute LLM locales sin conexión en Mac, Windows y Linux con interfaz amigable y servidor local compatible con OpenAI.
Detenido: 646 días sin versión367 40,0 = Comparar