距展会开幕还有 天

大模型产业高速扩张带动全国智算中心、超算集群持续上马,算力基础设施规模快速增长的同时,算力资源分散、调度低效、资源争抢、算力利用率偏低的问题日益凸显。以往不少算力园区只聚焦 GPU 硬件堆叠,配套调度管理软件多依赖海外成熟集群管理套件,在多卡协同、异构算力统一纳管、算力配额精细化管控、算力安全隔离等方面,自主可控能力存在短板。近期一批深耕分布式系统、云原生、高性能计算领域的国内软件厂商集中推出新一代智算调度与资源编排平台,面向大模型训练、微调、推理等不同业务负载做深度优化,已经在多地省级智算中心、企业自建大模型算力池完成部署验证,算力调度类基础软件正在成为算力产业链当中不可或缺的核心软件环节。

算力调度软件承担着整个智算集群的大脑职能,负责对 GPU、CPU、高速存储、网络带宽等各类异构资源进行统一感知、分配、调度与回收。大模型训练任务对算力、显存、通信带宽的需求和普通云计算业务有着本质区别,训练任务往往需要几十张甚至上百张 GPU 长时间协同计算,任务一旦被中断,重训成本极高;而推理业务则是短任务、高并发、流量波动大,需要快速弹性扩缩容。传统通用云调度系统最初面向互联网业务设计,缺少对分布式训练通信拓扑、集合通信优化、GPU 亲和性调度的原生支持,如果直接套用到智算场景,很容易出现卡间通信拥堵、任务碎片多、GPU 空载、跨节点等待等情况,硬件采购成本高昂,但实际算力利用率长期处于较低水平。这也是当前很多智算项目面临的普遍困境,硬件投入巨大,资源产出效率却达不到预期。

国产算力调度软件的研发方向,紧紧围绕大模型业务负载特性展开。在任务调度层面,支持训练任务的亲和性绑定,优先把同一训练作业调度到同一机架、同一高速交换网络内的算力卡组,降低跨交换机通信延迟,减少 NCCL 通信报错概率;支持断点续训、故障自动迁移,当单块 GPU 或者节点出现异常时,调度系统能够自动感知状态,在不干扰其他正在运行作业的前提下,快速将任务迁移至空闲资源,最大程度避免长时间训练任务前功尽弃。在资源管控层面,支持按项目、按团队、按用户设置算力配额、时长配额、显存上限,实现算力资源的计量、审计、计费一体化,适配智算中心对外提供算力租赁服务的运营模式。同时强化异构纳管能力,能够同时统一管理通用 GPU、AI 加速芯片、高性能 CPU、存算一体设备,兼容不同厂商加速硬件,破除单一硬件绑定的锁定效应,方便算力中心灵活采购多类型算力芯片,按需组合资源池。

安全隔离与可信管控也是国产调度软件重点打磨的模块。智算集群里往往会同时承载多家单位、多个项目的模型训练任务,不同租户的数据、模型权重文件属于高价值资产,需要严格隔离。新一代调度平台结合容器隔离、算力硬隔离、存储权限控制、操作行为审计能力,实现租户之间计算环境互不干扰,防止越权访问、模型窃取、数据泄露。针对可信算力、算力溯源的行业需求,调度系统可以记录每一份算力资源的使用日志,完整留存任务提交人、运行时段、占用资源、访问数据集信息,满足科研项目审计、政企 AI 项目合规留痕的监管要求。这套能力也区别于海外同类产品,很多海外集群调度工具侧重调度性能,原生审计、国产可信环境适配能力偏弱,需要额外叠加多层第三方安全组件,架构复杂,运维成本更高。

产业落地过程中,软件厂商需要和芯片厂商、智算运营商、大模型研发团队深度联调适配。不同 AI 芯片的驱动接口、通信库、性能调优参数差异较大,调度软件不能只做上层资源分发,必须下沉到硬件驱动、通信库层做适配调优,才能释放硬件全部性能。不少智算中心早期采用国外调度软件,存量任务、镜像、作业脚本已经形成使用习惯,替换改造过程不能一刀切,国产调度平台普遍提供兼容层,兼容原有任务提交命令、调度脚本,降低用户迁移成本,支持新旧调度系统并行过渡,分批切换业务负载,规避算力业务中断风险。很多落地案例中,经过调度软件优化之后,集群整体 GPU 利用率得到明显提升,排队任务的平均等待时长缩短,同等硬件条件下能够承接更多训练和推理作业,直接提升智算中心的投资回报水平。

从产业链分工来看,算力调度软件属于算力基础设施层的中间软件,向上承接大模型框架、推理服务,向下对接加速芯片、服务器、高速网络和分布式存储。过去国内算力产业链的关注点大多集中在 AI 芯片和大模型本身,中间层调度、监控、算力运维软件长期是薄弱环节。随着各地智算中心建设从 “重硬件、轻软件” 的阶段逐步转向软硬件一体化建设,市场对国产调度编排软件的需求持续释放,也催生了差异化的产品路线。一部分产品面向大型公共智算中心,主打大规模集群、多租户运营、计费运营能力;另一部分面向企业私有算力池、科研超算平台,侧重轻量化部署、简单运维、和科研工作流打通;还有厂商聚焦推理侧动态调度,面向大模型在线服务场景做流量调度、批处理优化、动态显存复用。

生态适配是接下来赛道竞争的核心。一款调度软件能否大规模推广,取决于它能否兼容主流大模型框架、国产加速芯片、分布式存储方案、监控告警组件。国内厂商正在联合芯片企业、大模型社区共建适配验证平台,持续完善适配矩阵,沉淀调优知识库,输出标准化的智算集群部署方案。同时配套完善监控可观测体系,在调度平台内置集群健康度、卡状态、通信延迟、任务报错可视化面板,运维人员可以快速定位通信瓶颈、硬件隐性故障、资源争抢问题,改变以往集群故障排查难度大、定位慢的痛点。

行业同样存在挑战,大规模万卡级别集群的调度稳定性依然是技术制高点,超大规模集群下调度器本身容易成为性能瓶颈,对分布式调度算法、元数据管理、消息总线架构提出极高要求;另外,智算负载持续迭代,多模态大模型、长文本模型、智能体训练不断涌现新的负载特征,调度策略也需要持续迭代优化,不能一套策略适配所有 AI 任务。人才供给方面,同时熟悉高性能通信、分布式调度、AI 负载特征的复合型工程师供给紧张,一定程度上限制企业研发迭代速度。

政策层面也在引导算力基础设施高质量发展,不再单纯鼓励算力规模扩张,更加重视算力利用率、资源统筹调度、自主可控水平,多地新建智算项目已经将国产集群调度管理软件纳入选型评估范围。算力调度软件作为算力体系的 “操作系统”,它的自主可控,关系整个智算底座的安全稳定。随着国产调度产品在更多万卡集群持续打磨验证,中间层软件短板会逐步补齐,形成芯片、算力网络、调度软件、大模型应用完整自主的算力产业链条,为国内人工智能产业长期稳定发展筑牢底层软件支撑。