跳到正文
登录
新出现技术报道时间 2026-11-21 06:35

Amazon SageMaker HyperPod 全局推理网关已上线

AWS 宣布推出 SageMaker HyperPod 的全球推理网关,这是一个单一的托管端点,可跨多个集群和区域路由推理请求,从而实现自动故障转移并利用空闲 GPU,而不是在饱和的集群中排队。

为什么重要. AI模型服务团队可以用一个网关替代数十个特定模型的端点,从而降低运营开销并通过将流量路由到跨集群和区域的可用容量来提高GPU利用率。

01

证据

  • AAWS Machine Learning Blog公司披露2026-11-21 06:35
    The Global Inference Gateway is available in 13 AWS Regions: US East (N. Virginia), US East (Ohio), US West (N. California), US West (Oregon), South America (São Paulo), Europe (Frankfurt), Europe (Ireland), Europe (London), Europe (Stockholm), Asia Pacific (Tokyo), Asia Pacific…
    查看来源