客户端复用同一个入口
用模型映射将客户端的模型名对应到上游模型。支持 OpenAI Chat Completions、Responses、Anthropic Messages 和 Gemini 原生请求。
开源 · 自托管 LLM 网关
让应用、脚本和 Agent 连接同一个网关。在内置管理端配置模型、上游渠道和访问权限。

网关能力
用模型映射将客户端的模型名对应到上游模型。支持 OpenAI Chat Completions、Responses、Anthropic Messages 和 Gemini 原生请求。
按权重选择可用渠道。遇到限流、服务端错误、超时或网络错误时,尝试其他符合条件的渠道。
为家人分配上游 Key 的使用权限。每个用户只看到获授权的模型,并可按自己的访问 Key 查看用量。
模型映射与用户授权决定哪些渠道可以参与路由。已授权的另一个渠道可在可重试错误后接手。
POST /v1/chat/completions使用 Docker 和 SQLite 在自己的服务器上运行,或使用 Cloudflare Workers 和 D1。
创建首个管理员,添加供应商、上游 Key 和模型映射,然后给用户授权。
把网关地址设为客户端的 API 基础地址,填入该用户的访问 Key,使用配置好的模型名。
可以在支持 Docker 的服务器上搭配 SQLite 部署,也可以在 Cloudflare Workers 上搭配 D1 部署。两种方式均内置 Web 管理端。
可以。将客户端的 API 基础地址指向网关,使用 lgk_ 访问 Key,并选择你配置的客户端模型名。Chat Completions 支持流式响应。
遇到 429、5xx、超时或网络错误时,网关会尝试其他符合条件的渠道。其他上游 4xx 响应直接透传。
可以。管理员可创建独立用户并授予上游 Key 的使用权限。每位用户可管理自己的访问 Key,并查看获授权的模型。
内置管理端可查看请求、Token 用量和延迟。普通用户可按自己的访问 Key 查看用量,管理员可查看网关全局数据。
Server、Worker 和管理端使用 AGPL 3.0。共享包与核心包使用 MIT 许可。