llama.cpp

功能和适用任务

下载并运行 GGUF 模型：调用命令行工具在本机加载兼容模型完成文本或多模态推理；兼容 API 的本地推理服务：启动 llama server，向已有开发应用提供模型推理 API；量化与 CPU/GPU 混合加速：用 GGUF 及量化模型匹配显存、内存与多种硬件后端

免费额度

本地推理完全可免费运行，前提是自行提供兼容模型与硬件

官方价格

llama.cpp 开源软件免费；本地 GPU/CPU、模型文件、云端算力成本自理

代表模型与能力

llama.cpp 不是固定模型：本地加载 GGUF 模型，支持 CPU/GPU 推理和模型量化部署

国家、地区与使用入口

无需注册地区白名单；本地运行不依赖海外网页订阅，模型获取依其发行限制

商用授权和限制

llama.cpp 引擎 MIT，可用于商业部署；下载的具体大模型应按其独立许可证判断商用

支持的付款方式

• 软件本身免费；自托管无需支付软件订阅费官方资料 ↗
• 云服务、算力、托管或模型 API 费用另计官方资料 ↗