MySoftRank
Iniciar sesión

vLLM

Motor de servicio de LLM de alto rendimiento, con paged attention y servidor compatible con la API de OpenAI.

de vLLM Project Aún no hay reseñas Código abierto Gratis proto-v0.3.0 Actualizado hace 2 días 22 91,3 =
Visitar sitio Código fuente Comparar con Ollama

Resumen

Motor de servicio de LLM de alto rendimiento, con paged attention y servidor compatible con la API de OpenAI.

Categoría
Ejecución de LLM · Herramientas de IA
Plataformas
Linux, Solo API
Precio
Gratis
Licencia
Apache-2.0
Código fuente
vllm-project/vllm
Estrellas del repositorio
92.120
API
Sin descripción pública de API

Historial de versiones

Actualizado hace 2 días

4 versiones en los últimos 12 meses.

  1. proto-v0.3.0
  2. proto-v0.2.0
  3. proto-v0.1.0
  4. v0.29.0

Lo que dicen los usuarios

Aún no hay reseñas

Las calificaciones aparecen cuando llegan reseñas verificadas. Hasta entonces, la clasificación usa solo señales públicas: frescura de versiones y adopción del repositorio.

Alternativas a vLLM

Ver todas las alternativas
Ollama 3 93,8 =

Entorno para descargar y ejecutar modelos de lenguaje de forma local, con CLI y API REST.

Actualizado hace 2 días
llama.cpp 9 92,6 =

Motor de inferencia en C/C++ para LLM en CPU y GPU, con formato GGUF y cuantización.

Actualizado hace 1 día
LocalAI 54 89,1 =

API autoalojada compatible con OpenAI que ejecuta modelos de texto, imagen y audio en hardware local.

Actualizado hace 2 días