vLLM

功能和适用任务

连续批处理与 KV 缓存调度：处理多请求推理并利用 PagedAttention 等机制管理显存；量化及多硬件推理：按模型与硬件支持使用 FP8、INT4、GPTQ 等量化格式；分布式部署与高吞吐服务：结合多 GPU、张量并行与服务端配置提供模型推理

免费额度

自行部署推理服务无需软件订阅费

官方价格

vLLM 开源推理服务软件免费；GPU/云算力、模型授权与网络运营成本自行承担

代表模型与能力

vLLM 是开源 LLM 推理服务器，可部署兼容语言/多模态模型，性能与硬件和模型架构相关

国家、地区与使用入口

本地/自有云部署不依赖网页购买地区；模型来源和云厂商另有限制

商用授权和限制

推理引擎 Apache-2.0，可用于商业部署，需遵循版权通知与第三方模型许可证

支持的付款方式

• 软件本身免费；自托管无需支付软件订阅费官方资料 ↗
• 云服务、算力、托管或模型 API 费用另计官方资料 ↗