Alternativas ao Ollama
Ordenadas pelo quanto se parecem com Ollama e depois pela nota.
Alternativas, ranqueadas
-
llama.cpp
Motor de inferência em C/C++ para LLMs em CPU e GPU, com formato GGUF e quantização.
Atualizado há 2 dias9 92,6 = Comparar -
vLLM
Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.
Atualizado há 3 dias22 91,3 = Comparar -
LocalAI
API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.
Atualizado há 3 dias53 89,1 = Comparar