AWS推出HyperPod Inference Gateway降低首字延迟

AI资讯 2026-09-23 05:32

为优化大规模模型推理体验，AWS向Amazon EKS用户推送Kubernetes原生推理网关插件。该组件可实时监测集群内各GPU节点的负载状态，并通过智能算法将高频请求精准路由至最优计算单元。实测数据显示，在高并发多模型共存场景下，该网关可将首字延迟最高缩减82，无需修改现有模型服务架构即可平滑接入。