Fonctions et usages
Service d’inférence rapide pour grands modèles
Source officielle ↗vLLM
Service d’inférence rapide pour grands modèles
ProgrammationProfil de l’entreprise
Service d’inférence rapide pour grands modèles
- Responsable
- vLLM projectSource officielle ↗
- Auteur initial
- Woosuk Kwon and original paper contributorsSource officielle ↗
- Projet depuis
- 2023Source officielle ↗
- Cotée ?
- Sans objet
Accès gratuit
Gratuit sur votre appareil ; matériel requis
Source officielle ↗Tarif officiel
Logiciel local gratuit ; cloud séparé
Source officielle ↗Modèles et capacités
Serving compatible large language models
Source officielle ↗Pays et accès
Logiciel local ; règles cloud et modèles distinctes
Source officielle ↗Droits commerciaux
Licence logicielle vérifiée ; modèles distincts.
Source officielle ↗Moyens de paiement
- Aucun paiement logiciel pour la version libre ou auto-hébergéeSource officielle ↗
- Hébergement cloud, calcul et API de modèles facturés séparémentSource officielle ↗
Tarifs API et abonnements
Self-hosted core has no vendor fee per request; GPU, hosting and connected model APIs cost separately.
Abonnement web (distinct de l’API)
Logiciel local gratuit ; cloud séparé
Source officielle ↗