行业资讯 · 2026-09-17
智谱首次实现AI参与自身系统优化 两周完成10万颗国产AI加速器部署
智谱GLM首席科学家唐杰公开研究进展,GLM-5.3-Flash仅用两周完成10万颗国产AI加速器集群部署,AI参与自身系统优化,为AI工程化落地提供新参考。
优秘智能观察:大模型参与自身运行系统优化的实践落地,标志着AI工程化效率再次升级,也为国内企业降低AI落地成本、适配国产算力提供了新的参考方向。
两周完成10万颗国产AI加速器集群部署,吞吐提升超3倍
近日,智谱GLM首席科学家唐杰公开了GLM-5.3-Flash推理系统优化的最新研究成果:从模型首次运行在国产AI加速器上,到完成全部生产流量承载,仅用两周时间,系统端到端吞吐能力提升了3.2倍。
本次部署运行在超过10万颗国产AI加速器组成的集群上,是缺少成熟经验参考的大规模部署。团队需要解决国产芯片显存、互联带宽限制,新模型架构适配,100万token长上下文支持,多模态请求处理等多重问题,同时还要应对国产AI加速器软件生态尚在发展、部分Kernel支持不足的挑战。
最终优化后的GLM-5.3-Flash端到端服务性能相比初始版本提升约3倍,硬件利用率和单token成本达到接近主流GPU平台的水平。该模型曾以匿名名Ox-Alpha运行在OpenCode和OpenRouter平台,一周内成为两个平台使用量最高的模型之一,六天处理超过62万亿token。
AI Infra Agent参与优化,承担部分资深工程师工作
本次优化的最大亮点,是除了基础设施工程师外,由GLM-5.3驱动的Infra Agent也深度参与了全流程。唐杰将其描述为「一个帮助优化服务自身的模型」,这意味着AI开始参与优化承载自身运行的系统,递归自我改进的早期形态已经出现。
在优化过程中,Infra Agent承担了性能瓶颈分析、优化方案提出、部分代码修改等工作。为了解决Agent无法判断性能异常原因的痛点,智谱团队打造了「dense feedback」机制,让Agent可以获得接近工程判断过程的信息,包括正确性反馈、系统时间消耗、优化方案实验验证结果等,大幅提升了Agent的问题解决能力。
目前,Infra Agent已经成功定位并修复了长上下文计算精度、KV Transfer调度、Decode Kernel重复计算等多个问题,其中KV Transfer的额外开销从30%降至1%以下,Decode Kernel性能提升1.71倍。这些工作此前通常需要资深基础设施工程师团队花费数周才能完成。
正向循环初步形成,企业AI落地门槛持续降低
唐杰表示,目前的实践距离真正的递归自我改进仍有距离,但「模型优化系统、系统服务模型」的最小循环已经出现。人类工程师仍然负责设定目标、搭建反馈环境、审核高风险修改,角色正在从直接解决问题转向设计反馈系统。
优秘智能给企业主的启示:
- 1人公司/小团队:无需投入资源研发底层AI能力,优先选择成熟的标准化AI工具,即可快速落地内容生产、客户响应、营销运营等场景提效。
- 成长型企业:可优先考虑适配国产算力的AI解决方案,降低长期使用成本,同时结合业务需求定制部分场景能力。
- 集团型企业:可探索将AI能力引入内部IT系统优化流程,沉淀内部工程经验,进一步降低整体运营成本。
本次智谱的实践再次印证了AI技术迭代速度正在不断加快,企业无需从零搭建底层能力,选择成熟的商用AI解决方案即可快速享受到技术红利。如果您希望了解企业AI化落地的可行路径,可访问优秘智能官网umi6.com咨询。
原始来源:https://www.ifanr.com/1680560?utm_source=rss&utm_medium=rss&utm_campaign=