AgentCore GatewayがInvokeModelに対応、フォールバックルーティングを追加

Amazon Bedrock AgentCore Gatewayは、推論エンドポイントでInvokeModel APIとInvokeModelWithResponseStream APIに対応し、エンドポイントが処理できるリクエストの範囲を広げました。¹ また、推論リクエストのフォールバックルーティングも利用できるようになりました。主な送信先で処理できない場合、トラフィックを別のモデルやプロバイダーに転送できます。¹ この2つは関連する変更です。APIへの対応により既存のBedrock SDK連携からゲートウェイを利用できるようになり、フォールバックにより、指定した問題が発生した際に送信先を切り替える方法を設定できます。¹ 発表では、今回の追加機能が影響するトラフィック量やユーザー数の数値は示されていません。明示されている範囲は、API機能、ルーティング動作、リージョンでの提供状況です。¹

APIの変更は、推論を呼び出す2つの方法、InvokeModelとInvokeModelWithResponseStreamに関するもので、どちらもゲートウェイの推論エンドポイント経由で利用できます。¹ すでにAmazon Bedrock SDKを利用している連携では、クライアントコードを書き換えなくても、ゲートウェイを送信先として利用できます。¹ 説明されているエンドポイントを通じて、クライアント連携を変更せずに、統制された単一のゲートウェイ送信先からモデルプロバイダーに接続できます。¹ この点から、API対応とフォールバックの実際的な違いが分かります。前者は既存のSDKクライアントがプロバイダーにアクセスする方法に関わり、後者は主な送信先で設定された問題が発生した場合にリクエストをどこへ送るかに関わります。¹

フォールバック動作は、代替送信先を指定した順序で列挙するゲートウェイルールから始まります。¹ このルールでは、スロットリング、サーバーエラー、応答タイムアウトなど、主な送信先から切り替える条件も指定します。¹ したがって、ゲートウェイのルーティング動作は、順序付けられた代替送信先とルールに入力されたトリガー条件の両方に基づき、指定されていない送信先選択によるものではありません。¹ より広い説明では、容量不足や主な送信先に到達できないことも、リクエストを別の場所にルーティングできる状況として挙げられています。¹

条件に該当する事象が発生すると、フォールバックはリクエストを主な送信先だけにとどめず、代替のモデルやプロバイダーへ送ります。¹ 組み込みのサーキットブレーカーは、現在障害が発生している送信先を回避します。これにより、リクエストを稼働中の送信先に早く到達させ、障害中の送信先を試すことで生じる余分な遅延を避けられます。¹ このブレーカーは、設定されたフォールバックチェーンと連携します。ルールが代替送信先と条件を定め、ブレーカーが障害中と特定された送信先をスキップします。¹ 送信先をスキップする目的は、すでに障害が発生している送信先への試行によるレイテンシーを加えずに、正常な送信先へより早く到達することです。¹

クライアントから見ると、フォールバックは個別のリクエストと応答の連続としては現れません。内部で再試行が行われても、クライアントは1つのリクエストを送り、1つの応答を受け取ります。¹ このクライアント向けの動作は、設定されたチェーン内で再試行や送信先の切り替えを含むことがある内部ルーティング処理とは異なります。¹ 発表ではフォールバックはクライアントに対して透過的と説明されていますが、内部再試行がないとは述べていません。むしろ、再試行が行われる場合を明示的に想定しています。¹ 対応APIを使う連携では、リクエスト1回・応答1回という説明の動作に加え、統制されたゲートウェイエンドポイントを通じてモデルプロバイダーにアクセスできます。¹

対象となるクライアント連携として説明されているのは、モデルプロバイダーにアクセスするために呼び出し先をゲートウェイにできる、既存のAmazon Bedrock SDK連携です。¹ 発表によると、そのアクセスにゲートウェイを利用するために、これらの連携のクライアントコードを書き換える必要はありません。¹ 対応するAPI呼び出しとゲートウェイのルーティング機能は示されていますが、それらを利用する連携、リクエスト、モデル、プロバイダーの数は示されていません。¹ したがって、変更の規模は追加された2つのAPIとフォールバック機能によって説明されており、ユーザー数や推論トラフィックの合計は報告されていません。¹

発表では、主な送信先でスロットリングが発生した場合、容量が不足した場合、または到達できなくなった場合への自動対応として、フォールバックを紹介しています。¹ より具体的な設定方法では、代替ルートを開始する条件として、スロットリング、サーバーエラー、応答タイムアウトが挙げられています。¹ これらの説明から、対処するサービス上の問題の種類とルールの役割の両方が分かります。ルールの条件に該当すると、システムはあらかじめ選択された代替送信先に従います。¹ 発表に関する事実には、公式関係者の氏名や直接の引用は含まれていないため、明示された製品の動作に基づいてのみ変更を説明できます。¹

提供状況はリージョン別に説明されており、AgentCore Gatewayが利用可能なすべてのAWSリージョンで、今回の2つの新機能を利用できます。ただし、中国のリージョンは除きます。¹ この提供範囲は今回発表された機能に適用されますが、対象リージョンの数は示されていません。¹ リージョンに関する条件は、APIとルーティングの説明を読む際に重要です。これらの説明によって、中国を除くという明示された例外がなくなるわけではありません。¹ したがって、発表では、中国を除き、AgentCore Gatewayの既存の提供地域を基準に利用可能な範囲を定めており、すべてのリージョンで利用できるとはしていません。¹

総合すると、今回の追加により、対応するBedrock SDKクライアントは指定された推論APIでゲートウェイを利用でき、指定条件が発生した場合には設定済みの代替先へルーティングできます。¹ サーキットブレーカーと、クライアントに透過的な応答パターンは、複数回のやり取りをクライアントに示すことなく、フォールバック処理が障害中の送信先や内部再試行にどう対処するかを説明しています。¹ これらの詳細は変更の運用上の範囲を説明するものであり、可用性、レイテンシー、その他の結果に測定可能な改善があったことを示すものではありません。¹ より広い文脈として示されているのは、モデルプロバイダーへのアクセスを統制するゲートウェイです。新しいAPI機能とフォールバック機能は、中国以外でそのゲートウェイが提供されているリージョンに限られます。¹