Are you an LLM? Read llms.txt for a summary of the docs, or llms-full.txt for the full context.
Skip to content

Lazu 與其他 LLM 閘道的比較

這一頁裡的每個專案都是在多家模型供應商前面放一個統一入口。它們的差別在於給誰用,以及怎麼處理錢。這裡只說每個專案是做什麼的,不排名。事實於 2026 年 11 月 2 日對照各專案的儲存庫和文件核對,之後會過時。

Lazu 是做什麼的

Lazu 是給團隊、實驗室或公司用的模型帳戶:每個人、每個 Agent 一把 Key,各有各的預算;每個請求留下一筆用量紀錄,Key 的主人自己能查。閘道、帳本、主控台和這個文件站打包成一個可部署的產品,AGPL-3.0 授權。它源自 New API,New API 源自 one-api;路由、計費和用量這三層按書面合約重寫過。

當你要回答的問題是「誰在哪個模型上花了多少錢,能不能證明」,選 Lazu。當你需要的是嵌進自己服務裡的函式庫、不用自己跑伺服器的託管 Key,或是給已經在跑的閘道加個外掛,選別的。

並排看

形態給誰用Key 與預算用量紀錄授權
LazuGo 閘道 + 帳本 + 主控台 + 文件站,一套 Docker 堆疊給人和 Agent 開模型帳戶的團隊使用者、團隊、專案;按 Key、按成員設預算;預付先預留,按上游計數結算每個請求一筆紀錄,標明每個數字的來源和計費明細;Agent 工作階段;離線核對腳本AGPL-3.0
LiteLLMPython 代理 + SDK,YAML 設定,管理介面給內部服務統一入口的平台團隊虛擬 Key、使用者、團隊、組織;各層級預算可定期重置花費統計和日誌;部分報表屬企業版MIT;enterprise/ 目錄另行授權
New APIGo 閘道 + 主控台用一套部署服務很多使用者的營運者使用者、群組、令牌額度、訂閱、儲值用量和稽核日誌、成本核算AGPL-3.0 附署名條款
one-apiGo 閘道 + 主控台想要一個 OpenAI 格式入口的自建者使用者、群組、令牌額度、兌換碼額度明細MIT 附頁尾署名;最後一次發布是 2025 年 2 月
BifrostGo 閘道 + 介面平台團隊,有企業版虛擬 Key、團隊、客戶;美元預算可重置日誌、Prometheus 指標、追蹤Apache-2.0
Portkey GatewayTypeScript 閘道,按請求設定應用開發者;預算、RBAC 和觀測在託管平台裡託管方案裡有預算本機主控台看日誌;保留期按方案MIT;儲存庫自 2026 年 5 月起停更
Helicone觀測平台,前面帶一個閘道先要日誌和追蹤的 AI 工程師按請求數或花費限流;沒有按 Key 的預算每個請求的費用、延遲和 tokenApache-2.0(平台)
Kong AI GatewayKong 上的外掛已經在跑 Kong 的企業按消費者群組設 token 額度和費用預算,企業版透過 Kong 計量核心 Apache-2.0,企業外掛閉源
OpenRouter僅託管要一把 Key、不想跑伺服器的開發者可開子 Key 並設額度活動頁和按請求查費用的介面不開源

預算用完會怎樣

預算好不好,看它攔下請求的那一刻。幾個專案原則一致,機制各異。

  • Lazu 在呼叫上游之前從預付餘額裡預留資金,呼叫完之後按上游自己回報的用量計數結算。Key、專案或帳戶付不起的請求在到達上游之前就被拒絕。失敗且沒有可計費輸出的請求釋放預留。上游沒回報計數的,紀錄裡如實標註;不編數字,也不悄悄透支(計費說明、計費合約)。
  • LiteLLM 在 Key、使用者、團隊或客戶超過 max_budget 後攔截,可以按週期重置;預算預警屬企業版。
  • New API 和 one-api 在令牌或使用者額度用完後回傳 403 insufficient_user_quota。
  • Bifrost 回傳 402 budget_exceeded,可臨時加額。
  • Kong 攔的是超過費用上限的那個請求的下一個請求。
  • Portkey 在託管企業版裡讓 Key 過期;Helicone 按時間窗按費用限流,但沒有 Key 預算。

一個請求留下什麼

Lazu 為每個完成的請求保存標準化的 token 維度、其中哪些是上游測量的、哪些是本機估算的、計費明細和公開的耗時;發起請求的 Key 可以按請求 ID 取回(請求詳情)。程式代理發來的請求按工作階段歸組,儲存庫裡帶了一個腳本,不印出提示詞就能核對匯出的工作階段。其他專案也記請求和費用;差別在於 Lazu 的紀錄是書面合約的一部分,付錢的人自己能讀,不只是營運者能看。

協定

Lazu、LiteLLM、New API 和 Bifrost 都原生接受 OpenAI、Anthropic Messages 和 Gemini 格式的請求,並在上游說另一種格式時做轉換。one-api 只接受 OpenAI 格式。Kong 開源的 ai-proxy 從 OpenAI 格式轉換,或把原生格式原樣透傳。Lazu 多了一條別人沒有明說的規則:只在無損時才轉換;請求用到上游承載不了的功能時,在呼叫上游之前就回傳點名該功能的 400(設計說明)。

更新的專案

2025 到 2026 年出現了三個值得知道的可自建閘道:gpt-load(Go,MIT;一把管理 Key 後面放通道群組和 Key 池,沒有按人的帳戶)、AxonHub(Go;任意 SDK 到任意供應商,按請求算成本,RBAC)和 mozilla-ai 的 otari(Python;虛擬 Key、預算和用量統計)。這一頁只看了它們的 README。

相關