Amazon SageMaker HyperPod グローバル推論ゲートウェイがローンチされました
AWSは、SageMaker HyperPod用のグローバル推論ゲートウェイを発表し、複数のクラスタとリージョンにまたがって推論リクエストをルーティングする単一の管理エンドポイントを提供しました。これにより、自動フェイルオーバーが可能となり、飽和したクラスタで待機するのではなく、アイドルGPUを活用できます。
なぜ重要か. AIモデル提供チームは、数十のモデル固有のエンドポイントを1つのゲートウェイに置き換えることができ、運用オーバーヘッドを削減し、クラスタ間およびリージョン間で利用可能な容量にトラフィックをルーティングすることでGPU利用率を向上させることができます。