Alternativas ao Ollama

Ordenadas pelo quanto se parecem com Ollama e depois pela nota.

Alternativas, ranqueadas

  1. llama.cpp

    Motor de inferência em C/C++ para LLMs em CPU e GPU, com formato GGUF e quantização.

    • Versão mais recente
    • Nenhum recurso em comum
    Atualizado há 2 dias
    9 92,6 = Comparar
  2. vLLM

    Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.

    • Nenhum recurso em comum
    Atualizado há 3 dias
    22 91,3 = Comparar
  3. LocalAI

    API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.

    • Nenhum recurso em comum
    Atualizado há 3 dias
    53 89,1 = Comparar