Funções e tarefas
Servidor de inferência rápida para LLM
Fonte oficial ↗vLLM
Servidor de inferência rápida para LLM
ProgramaçãoEmpresa
Servidor de inferência rápida para LLM
- Responsável
- vLLM projectFonte oficial ↗
- Autor inicial
- Woosuk Kwon and original paper contributorsFonte oficial ↗
- Projeto desde
- 2023Fonte oficial ↗
- Listada?
- Não se aplica
Uso gratuito
Grátis no próprio dispositivo; requer hardware
Fonte oficial ↗Preço oficial
Local grátis; nuvem à parte
Fonte oficial ↗Modelos e capacidades
Serving compatible large language models
Fonte oficial ↗Países e acesso
Uso local; regras de nuvem e modelos separadas
Fonte oficial ↗Uso comercial
Licença de software documentada; modelos separados.
Fonte oficial ↗Métodos de pagamento
- Sem cobrança de software para a versão auto-hospedada/de código abertoFonte oficial ↗
- Hospedagem, computação e APIs de modelos são cobradas separadamenteFonte oficial ↗
Preços de API e planos
Self-hosted core has no vendor fee per request; GPU, hosting and connected model APIs cost separately.
Plano web (não é preço da API)
Local grátis; nuvem à parte
Fonte oficial ↗