跳到主要内容

LLMPod 文档

让自有算力，成为业务可用的模型 API。
模型部署、API 接入与日常管理，都更简单、更顺手。

LLMPod 是面向自有算力的开源私有化推理服务平台。

  • 算力接入：支持 NVIDIA GPU 与昇腾 NPU 的节点接入、资源监控。
  • 模型部署：支持本地模型上传、Hugging Face 仓库导入，适配 vLLM、SGLang、llama.cpp 等推理引擎。
  • 统一网关：支持本地模型与外部模型 API 的发布、路由和负载均衡。
  • 日常管理：提供多租户与角色权限、API Key 与配额管理、用量统计与计费、调用日志及操作审计。

系统整体架构​

Manager 统一编排，Node 通过 Docker 管理推理容器。网关连接本地引擎与外部服务，对外提供统一 API。

LLMPod 部署架构：管理端由 Docker Compose 运行 webserver（含 Manager）、推理网关、PostgreSQL 和 Redis。计算主机上的 Node、vLLM、llama.cpp 是同级 Docker 容器；Node 通过 docker.sock 管理推理容器，容器使用主机算力和模型目录。Manager 通过 WebSocket 管理 Node，网关直接连接推理容器或外部服务。
管理端与计算节点可同机部署。查看大图 · 组件说明

选择你的使用路径​

平台管理员 · 01快速开始 ↗安装 LLMPod、完成初始化，登录控制台开始使用。平台管理员 · 02接入已有推理服务 ↗登记上游端点并配置发布路由；这条路径无需先准备 GPU 节点。租户与开发者 · 03查找并调用模型 ↗在模型市场确认可用模型，在线调试后用 API Key 接入应用。

常用入口​