Alternativas ao vLLM

Ordenadas pelo quanto se parecem com vLLM e depois pela nota.

Alternativas, ranqueadas

  1. Ollama

    Runtime para baixar e executar modelos de linguagem localmente, com CLI e API REST.

    • Nota maior
    • Roda em mais plataformas
    • Nenhum recurso em comum
    Atualizado há 62 dias
    5 93,5 = Comparar
  2. llama.cpp

    Motor de inferência em C/C++ para LLMs em CPU e GPU, com formato GGUF e quantização.

    • Versão mais recente
    • Nota maior
    • Roda em mais plataformas
    • Nenhum recurso em comum
    Atualizado há 61 dias
    6 93,0 = Comparar
  3. LocalAI

    API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.

    • Nota maior
    • Roda em mais plataformas
    • Nenhum recurso em comum
    Atualizado há 62 dias
    64 85,2 = Comparar