AI计算方案优化GPU使用｜模型切换效率提升全攻略
- 发表时间：2026-04-21 05:20:40
- 来源：
- 人气：
摘要通过组件复用、显存精细化管理和KV缓存同步优化等全栈技术，Aegaeon将模型切换开销降低了97%，确保了token级调度的实时性，可支持亚秒级的模型切换响应。
【机床商务网栏目 科技动态】10月21日消息，在近日于韩国首尔举办的顶级学术会议SOSP 2025（操作系统原理研讨会）上，阿里云发布了其“Aegaeon”计算池化解决方案。
【机床商务网栏目 科技动态】10月21日消息，在近日于韩国首尔举办的顶级学术会议SOSP 2025（操作系统原理研讨会）上，阿里云发布了其“Aegaeon”计算池化解决方案。
Aegaeon方案的核心在于解决AI模型服务中普遍存在的GPU资源浪费问题，尤其针对那些需求突发或不可预测的大型语言模型。
它打破了传统的“一个模型绑定一个GPU”的低效模式，而是在Token级别虚拟化GPU访问，这意味着单个GPU可以被多个不同模型共享服务，实现精细化的资源调度。
阿里云Aegaeon系统作为一种推理时间调度器，它能在每次生成下一个token后，动态决定是否切换模型，从而将微小的工作片段安排到共享池中。
通过组件复用、显存精细化管理和KV缓存同步优化等全栈技术，Aegaeon将模型切换开销降低了97%，确保了token级调度的实时性，可支持亚秒级的模型切换响应。
在阿里云模型市场为期超三个月的Beta测试中，Aegaeon系统在服务数十个参数量高达720亿的大模型时，所需的NVIDIA H20 GPU数量从1192个锐减至213个，削减比例高达82%。
GPU用量的大幅削减，对于硬件采购成本高昂的大型模型服务商而言，意味着成本将显著降低。
目前，这项核心技术已成功应用在阿里云百炼平台。
推荐资讯
- 2026-06-02 03:27:45“广西制造”频频“出海”！重型机械订单增长显著
- 2026-06-02 03:27:372023年10月中国制造业行业观察：PMI有所回落
- 2026-06-01 11:46:50广西国资国企推进“科技强企” 多项技术处于国际领先地位
- 2026-06-01 09:41:45北京城市副中心三大建筑项目顺利通过竣工验收
- 2026-06-01 07:27:372024年工程机械能否摆脱低迷？万亿国债+电动化双驱动解析
- 2026-06-01 04:37:00中国中小企业协会发布十九项团体标准，涵盖防爆技术与智能设备应用
- 2026-06-01 02:27:55四项工程机械标准入选百项应用示范，创新技术引领行业升级
- 2026-05-31 23:17:33漳州新基建三年计划：5G+千兆宽带如何提速？
- 2026-05-31 21:02:07智慧港口航道建设如何加速？最新政策解读与实施路径
- 2026-05-31 07:50:05成套矿业装备深耕西北资源开发
- 2026-05-31 02:42:47五项新标准发布 印刷粉尘防爆等安全规范有哪些关键要求
- 2026-05-31 02:42:40浙江推动综合交通装备首台套突破政策解读
- 2026-05-30 09:27:35中国中小商业企业协会发布多项团体标准
- 2026-05-30 07:22:41多领域政策解读：聚焦环保、经贸与产业升级
- 2026-05-30 04:48:07郑州制造业高质量发展新政出台 支持企业跨台阶升级
- 2026-05-30 02:44:32我国先进制造业集群发展优势凸显引领产业升级
推荐产品
-
凯威机械 出口型915 装载机
重要参数 详细参数>> 额定载重量：1600 kg 整机操作重量：3200 kg 最大-卸载高度：2850 mm 额定功率：≤39 kw/rpm 凯威机械出口型915装载机的优点有以下几个： 1. 强 -
力士德 CL935 装载机
重要参数 详细参数>> 整机操作重量：9800 kg 额定载重量：3000 kg 铲斗容量：1.7 m³ 最大-卸载高度：3100 mm 挖掘力（掘起力）：95 kN 力士德CL935装载机的优点包括 -
凯威机械 出口型912 装载机
重要参数 详细参数>> 额定载重量：1200 kg 整机操作重量：3000 kg 最大-卸载高度：2850 mm 额定功率：≤50 kw/rpm 凯威机械出口型912装载机具有以下优点： 1. 强劲动 -
永义重工 出口930 装载机
重要参数 详细参数>> 额定载重量：2500kg kg 整机操作重量：6500kg kg 最大-卸载高度：3600mm mm 发动机型号：4108增压 额定功率：83kw kw/rpm 永义重工出口9
