MySoftRank
Iniciar sesión

llama.cpp

Motor de inferencia en C/C++ para LLM en CPU y GPU, con formato GGUF y cuantización.

de ggml.ai Aún no hay reseñas Código abierto Gratis b11030 Actualizado hace 1 día 9 92,6 =
Visitar sitio Código fuente Comparar con Ollama

Resumen

Motor de inferencia en C/C++ para LLM en CPU y GPU, con formato GGUF y cuantización.

Categoría
Ejecución de LLM · Herramientas de IA
Plataformas
Linux, macOS, Windows, Solo API
Precio
Gratis
Licencia
MIT
Código fuente
ggml-org/llama.cpp
Estrellas del repositorio
128.722
API
Sin descripción pública de API

Historial de versiones

Actualizado hace 1 día

10 versiones en los últimos 12 meses.

  1. b11030
  2. b11033
  3. b11034
  4. b11035
  5. b11036
  6. b11037

Lo que dicen los usuarios

Aún no hay reseñas

Las calificaciones aparecen cuando llegan reseñas verificadas. Hasta entonces, la clasificación usa solo señales públicas: frescura de versiones y adopción del repositorio.

Alternativas a llama.cpp

Ver todas las alternativas
Ollama 3 93,8 =

Entorno para descargar y ejecutar modelos de lenguaje de forma local, con CLI y API REST.

Actualizado hace 2 días
vLLM 22 91,3 =

Motor de servicio de LLM de alto rendimiento, con paged attention y servidor compatible con la API de OpenAI.

Actualizado hace 2 días
LocalAI 54 89,1 =

API autoalojada compatible con OpenAI que ejecuta modelos de texto, imagen y audio en hardware local.

Actualizado hace 2 días