开源 · 自托管 LLM 网关

一个模型入口,部署在你手里。

让应用、脚本和 Agent 连接同一个网关。在内置管理端配置模型、上游渠道和访问权限。

查看部署指南Docker / Cloudflare Workers
LutraGate 管理端 · 示例数据
LutraGate 实际管理端的总览页面,展示请求量、Token 用量和时延,数据来自演示环境。

网关能力

统一管理路由与权限

客户端复用同一个入口

用模型映射将客户端的模型名对应到上游模型。支持 OpenAI Chat Completions、Responses、Anthropic Messages 和 Gemini 原生请求。

上游失败时切换渠道

按权重选择可用渠道。遇到限流、服务端错误、超时或网络错误时,尝试其他符合条件的渠道。

共享网关,各自管理用量

为家人分配上游 Key 的使用权限。每个用户只看到获授权的模型,并可按自己的访问 Key 查看用量。

一次请求如何通过网关

模型映射与用户授权决定哪些渠道可以参与路由。已授权的另一个渠道可在可重试错误后接手。

客户端POST /v1/chat/completions
LutraGate按授权筛选,再加权选择
渠道 A首次尝试429 · 触发重试
渠道 B可用渠道重试渠道

从部署到首次请求

  1. 启动网关

    使用 Docker 和 SQLite 在自己的服务器上运行,或使用 Cloudflare Workers 和 D1。

  2. 配置管理端

    创建首个管理员,添加供应商、上游 Key 和模型映射,然后给用户授权。

  3. 连接客户端

    把网关地址设为客户端的 API 基础地址,填入该用户的访问 Key,使用配置好的模型名。

查看 Workers 部署说明

部署前常见问题

LutraGate 可以部署在哪里?

可以在支持 Docker 的服务器上搭配 SQLite 部署,也可以在 Cloudflare Workers 上搭配 D1 部署。两种方式均内置 Web 管理端。

已有的 OpenAI 兼容客户端能接入吗?

可以。将客户端的 API 基础地址指向网关,使用 lgk_ 访问 Key,并选择你配置的客户端模型名。Chat Completions 支持流式响应。

上游返回错误时会怎样?

遇到 429、5xx、超时或网络错误时,网关会尝试其他符合条件的渠道。其他上游 4xx 响应直接透传。

可以和家人共享同一个网关吗?

可以。管理员可创建独立用户并授予上游 Key 的使用权限。每位用户可管理自己的访问 Key,并查看获授权的模型。

在哪里查看用量?

内置管理端可查看请求、Token 用量和延迟。普通用户可按自己的访问 Key 查看用量,管理员可查看网关全局数据。

项目采用什么开源许可?

Server、Worker 和管理端使用 AGPL 3.0。共享包与核心包使用 MIT 许可。

把网关部署到自己的环境。

从 Docker 或 Cloudflare Workers 开始,用你已有的供应商 API Key 接入客户端。

查看部署指南