Are you an LLM? Read llms.txt for a summary of the docs, or llms-full.txt for the full context.
Skip to content

Lazu 与其他 LLM 网关的对比

这一页里的每个项目都是在多家模型供应商前面放一个统一入口。它们的区别在于给谁用,以及怎么处理钱。这里只说每个项目是干什么的,不排名。事实于 2026 年 11 月 2 日对照各项目的仓库和文档核对,之后会过时。

Lazu 是干什么的

Lazu 是给团队、实验室或公司用的模型账户:每个人、每个 Agent 一把 Key,各有各的预算;每个请求留下一条用量记录,Key 的主人自己能查。网关、账本、控制台和这个文档站打包成一个可部署的产品,AGPL-3.0 许可。它源自 New API,New API 源自 one-api;路由、计费和用量这三层按书面合同重写过。

当你要回答的问题是「谁在哪个模型上花了多少钱,能不能证明」,选 Lazu。当你需要的是嵌进自己服务里的库、不用自己跑服务器的托管 Key,或者给已经在跑的网关加个插件,选别的。

并排看

形态给谁用Key 与预算用量记录许可
LazuGo 网关 + 账本 + 控制台 + 文档站,一套 Docker 栈给人和 Agent 开模型账户的团队用户、团队、项目;按 Key、按成员设预算;预付先预留,按上游计数结算每个请求一条记录,标明每个数字的来源和计费明细;Agent 会话;离线核对脚本AGPL-3.0
LiteLLMPython 代理 + SDK,YAML 配置,管理界面给内部服务统一入口的平台团队虚拟 Key、用户、团队、组织;各层级预算可定期重置花费统计和日志;部分报表属企业版MIT;enterprise/ 目录另行许可
New APIGo 网关 + 控制台用一套部署服务很多用户的运营者用户、分组、令牌额度、订阅、充值用量和审计日志、成本核算AGPL-3.0 附署名条款
one-apiGo 网关 + 控制台想要一个 OpenAI 格式入口的自建者用户、分组、令牌额度、兑换码额度明细MIT 附页脚署名;最后一次发布是 2025 年 2 月
BifrostGo 网关 + 界面平台团队,有企业版虚拟 Key、团队、客户;美元预算可重置日志、Prometheus 指标、追踪Apache-2.0
Portkey GatewayTypeScript 网关,按请求配置应用开发者;预算、RBAC 和观测在托管平台里托管套餐里有预算本地控制台看日志;保留期按套餐MIT;仓库自 2026 年 5 月起停更
Helicone观测平台,前面带一个网关先要日志和追踪的 AI 工程师按请求数或花费限流;没有按 Key 的预算每个请求的费用、延迟和 tokenApache-2.0(平台)
Kong AI GatewayKong 上的插件已经在跑 Kong 的企业按消费者组设 token 额度和费用预算,企业版通过 Kong 计量核心 Apache-2.0,企业插件闭源
OpenRouter仅托管要一把 Key、不想跑服务器的开发者可开子 Key 并设额度活动页和按请求查费用的接口不开源

预算用完会怎样

预算好不好,看它拦下请求的那一刻。几个项目原则一致,机制各异。

  • Lazu 在调上游之前从预付余额里预留资金,调完之后按上游自己报的用量计数结算。Key、项目或账户付不起的请求在到达上游之前就被拒绝。失败且没有可计费输出的请求释放预留。上游没报计数的,记录里如实标注;不编数字,也不悄悄透支(计费说明、计费合同)。
  • LiteLLM 在 Key、用户、团队或客户超过 max_budget 后拦截,可以按周期重置;预算预警属企业版。
  • New API 和 one-api 在令牌或用户额度用完后返回 403 insufficient_user_quota。
  • Bifrost 返回 402 budget_exceeded,可临时加额。
  • Kong 拦的是超过费用上限的那个请求的下一个请求。
  • Portkey 在托管企业版里让 Key 过期;Helicone 按时间窗按费用限流,但没有 Key 预算。

一个请求留下什么

Lazu 为每个完成的请求保存标准化的 token 维度、其中哪些是上游测量的、哪些是本地估算的、计费明细和公开的耗时;发起请求的 Key 可以按请求 ID 取回(请求详情)。编程 Agent 发来的请求按会话归组,仓库里带了一个脚本,不打印提示词就能核对导出的会话。其他项目也记请求和费用;区别在于 Lazu 的记录是书面合同的一部分,付钱的人自己能读,不只是运营者能看。

协议

Lazu、LiteLLM、New API 和 Bifrost 都原生接受 OpenAI、Anthropic Messages 和 Gemini 格式的请求,并在上游说另一种格式时做转换。one-api 只接受 OpenAI 格式。Kong 开源的 ai-proxy 从 OpenAI 格式转换,或者把原生格式原样透传。Lazu 多了一条别人没有明说的规则:只在无损时才转换;请求用到上游承载不了的功能时,在调上游之前就返回点名该功能的 400(设计说明)。

更新的项目

2025 到 2026 年出现了三个值得知道的可自建网关:gpt-load(Go,MIT;一把管理 Key 后面放渠道组和 Key 池,没有按人的账户)、AxonHub(Go;任意 SDK 到任意供应商,按请求算成本,RBAC)和 mozilla-ai 的 otari(Python;虚拟 Key、预算和用量统计)。这一页只看了它们的 README。

相关