Are you an LLM? Read llms.txt for a summary of the docs, or llms-full.txt for the full context.
Skip to content

Lazu と Kong AI Gateway

Kong AI Gateway は独立した製品ではありません。API ゲートウェイである Kong Gateway 上のプラグイン群で、モデルプロバイダーへプロキシし、トラフィックにポリシーを適用します。Lazu は、アカウント、台帳、コンソールを携えた単体のゲートウェイです。正しい問いはどちらが優れているかではなく、すでに Kong を運用しているかどうかです。事実は 2026 年 11 月 2 日に確認しました。Kong の AI Gateway 2.0 は ai-proxy プラグインを AI Model エンティティとポリシーに置き換えつつあるため、このページのプラグイン名は古くなっていきます。

それぞれ誰向けか

Kong AI Gateway は、すでに API のために Kong を運用し、モデルトラフィックも同じ方法で統制したい企業向けです。宣言的な設定、コンシューマーグループ、Konnect コントロールプレーン、そして負荷分散、コスト上限、セマンティックキャッシュのための Enterprise プラグインです。

Lazu は、API 管理プラットフォームを採用せずに、すべての人とエージェントにモデルアカウントを持たせたいチーム、研究室、企業向けです。1 つの Docker スタック、コンソール、予算付きキー、リクエストごとの利用記録です。

並べて見る

Kong AI GatewayLazu
形態Kong Gateway 上のプラグイン(OpenResty 上の Lua)Go ゲートウェイと worker、React コンソール、Vocs ドキュメント。1 つの Docker Compose スタック
設定宣言的 YAML(decK)、Admin API、Konnect UI上流、価格、ユーザー、お知らせはコンソール
オープンソースai-proxy(17 プロバイダー)、ai-prompt-guard、ai-request-transformerリポジトリにあるすべて
Enterprise のみai-proxy-advanced(負荷分散、フェイルオーバー、サーキットブレーカー)、ai-rate-limiting-advanced(トークンとコストの上限)、ai-semantic-cacheなし
アカウントKong のコンシューマーとコンシューマーグループ。Enterprise ではグループ別のトークン枠とコスト予算ユーザー、チームとプロジェクト、メンバー予算、API キー
予算ai-rate-limiting-advanced による時間窓ごとのコスト上限。上限を超えたリクエストは完了し、次のリクエストが 429 でブロックされる前払い残高。呼び出し前に予約、プロバイダーのカウンターで精算、失敗時に解放。アカウントが賄えないリクエストは呼び出し前に拒否
利用記録トークン計量と Kong のロギングプラグインリクエストごとに 1 件、利用量・計測元・課金明細付きで、送ったキーが読める。エージェントセッション。照合スクリプト
ルーティングオープンソースの ai-proxy には負荷分散やフェイルオーバーの記載なし。Enterprise はラウンドロビン、最少接続、最低レイテンシ、セマンティック、優先度の負荷分散とフェイルオーバー条件を追加モデルごとに優先度と重みでチャネル選択、ヘルスウィンドウ、同一モデルでの再試行。公開の経路ヘルスページ
プロトコルOpenAI 形式を受け、プロバイダー形式で出す。ネイティブの llm_format モードは対応するプロバイダーへ変換せずに素通しOpenAI、Anthropic Messages、Gemini をネイティブに。無損失のときだけ変換
ライセンスコアは Apache-2.0。Enterprise プラグインは非公開AGPL-3.0-or-later

お金

Kong のコスト管理はレート制限です。ai-rate-limiting-advanced がモデルの入力・出力価格からリクエストごとのコストを計算し、コンシューマーグループの時間窓を使い切るとブロックします。上限に達したリクエスト自体は完了する、という但し書きが文書化されています。これは Enterprise プラグインです。Lazu のは残高です。上流を呼ぶ前に前払い残高から見積額を予約し、プロバイダーが報告した利用量で精算し、各次元をプロバイダー計測、ローカル推定、取得不能のいずれかとして記録し、アカウントが賄えないリクエストはプロバイダーに届く前に拒否されます(課金契約)。

プロトコル

Kong のオープンソース ai-proxy は OpenAI 形式のリクエストを受け付け、各プロバイダー向けに変換します。ネイティブの llm_format モードは Anthropic、Bedrock、Cohere、Gemini、Hugging Face のリクエストをそのまま転送しますが、そのプロバイダーにのみ送れます。Lazu は 3 系統をネイティブに受け付け、無損失と検証されたエッジに沿ってのみ相互変換します。上流が運べない機能を必要とするリクエストは、上流を呼ぶ前に機能名を示す 400 で拒否します(設計ノート)。

Kong にあって Lazu にないもの

  • モデルトラフィックを囲む完全な API ゲートウェイ:認証プラグイン、レート制限、変換、Kong のプラグインカタログ全体。
  • バージョン管理できる宣言的設定と、ホスト型のコントロールプレーン。
  • Enterprise でのセマンティックキャッシュとセマンティック負荷分散。
  • Enterprise のサポート。

どちらを選ぶか

  • Kong を運用していて、モデル呼び出しも統制すべき API トラフィックの一種にすぎないなら Kong AI Gateway。プロキシ以上のことには Enterprise プラグインを添えて。
  • 人とエージェントのためのモデルアカウントが必要で、予算、残高、読める利用記録が要り、間に API 管理プラットフォームを挟みたくないなら Lazu。

Lazu と LiteLLM、他のゲートウェイの概要も参照してください。