Funktionen und Einsatzgebiete
Schnelles Inferenz-Serving für große Sprachmodelle
Offizielle Quelle ↗vLLM
Schnelles Inferenz-Serving für große Sprachmodelle
ProgrammierungFirmenprofil
Schnelles Inferenz-Serving für große Sprachmodelle
- Betreiber
- vLLM projectOffizielle Quelle ↗
- Erstautor
- Woosuk Kwon and original paper contributorsOffizielle Quelle ↗
- Projekt seit
- 2023Offizielle Quelle ↗
- Börsennotiert?
- Nicht zutreffend
Kostenlose Nutzung
Auf eigener Hardware gratis
Offizielle Quelle ↗Offizielle Preise
Lokal kostenlos; Cloud separat
Offizielle Quelle ↗Modelle und Fähigkeiten
Serving compatible large language models
Offizielle Quelle ↗Länder und Zugang
Lokale Nutzung; Cloud- und Modellregeln separat
Offizielle Quelle ↗Gewerbliche Rechte
Softwarelizenz geprüft; Modelle separat.
Offizielle Quelle ↗Zahlungsmethoden
- Keine Softwaregebühr für selbst gehostete Open-Source-VersionenOffizielle Quelle ↗
- Cloud-Hosting, Rechenleistung und Modell-APIs werden separat berechnetOffizielle Quelle ↗
API-Preise und Abos
Self-hosted core has no vendor fee per request; GPU, hosting and connected model APIs cost separately.
Web-Abo (nicht API-Aufrufpreis)
Lokal kostenlos; Cloud separat
Offizielle Quelle ↗