vLLM
Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.
por vLLM Project
Nenhuma avaliação ainda
Código aberto
Grátis
proto-v0.3.0
Atualizado há 2 dias
22
91,3
=
Visão geral
Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.
- Categoria
- Execução de LLMs · Ferramentas de IA
- Plataformas
- Linux, Somente API
- Preço
- Grátis
- Licença
- Apache-2.0
- Código-fonte
- vllm-project/vllm
- Estrelas no repositório
- 92.120
- API
- Sem descrição pública de API
Histórico de versões
Atualizado há 2 dias4 versões nos últimos 12 meses.
-
proto-v0.3.0
-
proto-v0.2.0
-
proto-v0.1.0
-
v0.29.0
O que os usuários dizem
Nenhuma avaliação ainda
As notas aparecem quando chegarem avaliações verificadas. Até lá, o ranking usa apenas sinais públicos: atualização de versões e adoção do repositório.
Alternativas ao vLLM
Ver todas as alternativas Ollama
3
93,8
=
Runtime para baixar e executar modelos de linguagem localmente, com CLI e API REST.
Atualizado há 2 dias
llama.cpp
9
92,6
=
Motor de inferência em C/C++ para LLMs em CPU e GPU, com formato GGUF e quantização.
Atualizado há 1 dia
LocalAI
54
89,1
=
API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.
Atualizado há 2 dias