Funciones y tareas
Servicio de inferencia rápida de LLM
Fuente oficial ↗vLLM
Servicio de inferencia rápida de LLM
ProgramaciónEmpresa
Servicio de inferencia rápida de LLM
- Responsable
- vLLM projectFuente oficial ↗
- Autor inicial
- Woosuk Kwon and original paper contributorsFuente oficial ↗
- Proyecto desde
- 2023Fuente oficial ↗
- ¿Cotiza?
- No aplica
Uso gratuito
Gratis en tu equipo; requiere hardware
Fuente oficial ↗Precio oficial
Software local gratis; nube aparte
Fuente oficial ↗Modelos y capacidades
Serving compatible large language models
Fuente oficial ↗Países y acceso
Uso local; reglas de nube y modelos por separado
Fuente oficial ↗Uso comercial
Licencia de software documentada; modelos aparte.
Fuente oficial ↗Métodos de pago
- Sin pago de software para la versión autoalojada/de código abiertoFuente oficial ↗
- El alojamiento, el cómputo y las API de modelos se cobran por separadoFuente oficial ↗
Precios API y planes
Self-hosted core has no vendor fee per request; GPU, hosting and connected model APIs cost separately.
Plan web (no es precio de API)
Software local gratis; nube aparte
Fuente oficial ↗