外部行业实践 ·
DeepSeek开源昇腾平台全栈基础设施组件,完成自研模型适配及超节点联合优化
DeepSeek于9月30日宣布开源面向华为昇腾算力平台的基础设施组件,涵盖TileLang高级语言编译工具及五类计算、通信库,与此前英伟达平台开源组件接口对齐。其与华为联合推进了昇腾950的128卡超节点方案并完成计算、通信联合优化,现有组件已支撑自研V4系列模型的训练算子需求,同时为开发者提供昇腾环境下的底层实现、接口及测试代码,降低跨平台迁移及自定义算子开发门槛。
仅供行业学习与场景参考,不代表优秘交付、客户关系或效果承诺。
面临的问题
此前昇腾平台缺乏适配DeepSeek原有技术栈的底层基础设施组件,开发者若要将基于英伟达平台开发的模型代码迁移到昇腾环境,需要重新开发算子、适配底层接口,开发成本高、周期长;自定义算子开发需要直接对接底层硬件指令,编程门槛高,调度、同步等环节需手动处理,开发效率低下;大模型训练所需的矩阵运算、跨设备通信、稀疏注意力等核心能力没有统一的可复用实现,不同团队重复开发造成资源浪费;昇腾950硬件的计算、通信性能没有充分适配大模型训练场景的需求,难以充分发挥硬件算力优势。
AI 落地做法
DeepSeek开源覆盖编译工具、计算库、分布式通信库的全栈昇腾平台基础设施组件,组件上层接口与原有英伟达平台版本对齐,降低开发者跨平台迁移成本;同时推出与华为联合优化的昇腾950 128卡超节点方案,充分释放硬件算力。组件层面既提供开箱即用的常用算子实现,也支持开发者通过TileLang高级语言自定义开发算子,编译器自动完成代码生成、调度、同步等工作,兼顾易用性与性能优化空间。
实施路径
- 开发适配昇腾950 NPU的TileLang后端,复用TileLang共享前端,针对昇腾硬件的Cube矩阵计算单元和Vector向量计算单元实现专用的编译转换、调度、同步和代码生成能力,封装Ascend C底层指令,提供接近Python语法的高级编程接口
- 开源五类昇腾平台适配的计算与通信组件,分别为DeepGEMM-Ascend、DeepEP Ascend、FlashMLA、TileKernels、DeepSelect,覆盖矩阵运算、跨设备通信、稀疏注意力、通用算子、数据筛选场景,组件上层接口与原有英伟达平台版本对齐
- 与华为联合推进基于昇腾950的128卡超节点方案,针对计算和通信环节开展联合优化
- 将自研V4系列模型训练所用的全部TileLang算子适配到昇腾平台,验证组件的性能与可用性
- 开放各组件的底层实现、接口代码及测试用例,明确各组件的硬件要求、软件版本依赖、数据格式与功能支持范围,指导开发者完成跨平台迁移或自定义算子开发
来源:InfoQ 中文(本站改写摘要,成效数据均取自原文)
项目背景
大模型训练与推理对算力需求持续提升,国产算力平台成为重要的算力补充选项,DeepSeek此前的技术栈主要基于英伟达平台构建,随着业务发展需要适配昇腾算力平台,同时广大开发者也需要成熟的工具链降低在昇腾平台开发大模型的门槛,此前行业内缺乏适配昇腾950硬件、接口与主流技术栈对齐的开源底层基础设施组件。 本案例依据「InfoQ 中文」公开发布的信息整理,原文:https://www.infoq.cn/article/t5i2Yv2z0LwIbK36lteR?utm_source=rss&utm_medium=article
业务问题
此前昇腾平台缺乏适配DeepSeek原有技术栈的底层基础设施组件,开发者若要将基于英伟达平台开发的模型代码迁移到昇腾环境,需要重新开发算子、适配底层接口,开发成本高、周期长;自定义算子开发需要直接对接底层硬件指令,编程门槛高,调度、同步等环节需手动处理,开发效率低下;大模型训练所需的矩阵运算、跨设备通信、稀疏注意力等核心能力没有统一的可复用实现,不同团队重复开发造成资源浪费;昇腾950硬件的计算、通信性能没有充分适配大模型训练场景的需求,难以充分发挥硬件算力优势。
实践方案
DeepSeek开源覆盖编译工具、计算库、分布式通信库的全栈昇腾平台基础设施组件,组件上层接口与原有英伟达平台版本对齐,降低开发者跨平台迁移成本;同时推出与华为联合优化的昇腾950 128卡超节点方案,充分释放硬件算力。组件层面既提供开箱即用的常用算子实现,也支持开发者通过TileLang高级语言自定义开发算子,编译器自动完成代码生成、调度、同步等工作,兼顾易用性与性能优化空间。
原始来源:https://www.infoq.cn/article/t5i2Yv2z0LwIbK36lteR?utm_source=rss&utm_medium=article