Alternativas a vLLM
Ordenadas por cuánto se parecen a vLLM y luego por puntuación.
Alternativas, clasificadas
-
Ollama
Entorno para descargar y ejecutar modelos de lenguaje de forma local, con CLI y API REST.
Actualizado hace 2 días3 93,8 = Comparar -
llama.cpp
Motor de inferencia en C/C++ para LLM en CPU y GPU, con formato GGUF y cuantización.
Actualizado hace 1 día9 92,6 = Comparar -
LocalAI
API autoalojada compatible con OpenAI que ejecuta modelos de texto, imagen y audio en hardware local.
Actualizado hace 2 días54 89,1 = Comparar