优秘智能 · 内容中心

行业资讯 · 2026-09-17

智谱首次实现AI参与自身系统优化 两周完成10万颗国产AI加速器部署

智谱GLM首席科学家唐杰公开研究进展,GLM-5.3-Flash仅用两周完成10万颗国产AI加速器集群部署,AI参与自身系统优化,为AI工程化落地提供新参考。

🎧 本文 AI 播客

优秘智能观察:大模型参与自身运行系统优化的实践落地,标志着AI工程化效率再次升级,也为国内企业降低AI落地成本、适配国产算力提供了新的参考方向。

两周完成10万颗国产AI加速器集群部署,吞吐提升超3倍

近日,智谱GLM首席科学家唐杰公开了GLM-5.3-Flash推理系统优化的最新研究成果:从模型首次运行在国产AI加速器上,到完成全部生产流量承载,仅用两周时间,系统端到端吞吐能力提升了3.2倍。

本次部署运行在超过10万颗国产AI加速器组成的集群上,是缺少成熟经验参考的大规模部署。团队需要解决国产芯片显存、互联带宽限制,新模型架构适配,100万token长上下文支持,多模态请求处理等多重问题,同时还要应对国产AI加速器软件生态尚在发展、部分Kernel支持不足的挑战。

最终优化后的GLM-5.3-Flash端到端服务性能相比初始版本提升约3倍,硬件利用率和单token成本达到接近主流GPU平台的水平。该模型曾以匿名名Ox-Alpha运行在OpenCode和OpenRouter平台,一周内成为两个平台使用量最高的模型之一,六天处理超过62万亿token。

AI Infra Agent参与优化,承担部分资深工程师工作

本次优化的最大亮点,是除了基础设施工程师外,由GLM-5.3驱动的Infra Agent也深度参与了全流程。唐杰将其描述为「一个帮助优化服务自身的模型」,这意味着AI开始参与优化承载自身运行的系统,递归自我改进的早期形态已经出现。

在优化过程中,Infra Agent承担了性能瓶颈分析、优化方案提出、部分代码修改等工作。为了解决Agent无法判断性能异常原因的痛点,智谱团队打造了「dense feedback」机制,让Agent可以获得接近工程判断过程的信息,包括正确性反馈、系统时间消耗、优化方案实验验证结果等,大幅提升了Agent的问题解决能力。

目前,Infra Agent已经成功定位并修复了长上下文计算精度、KV Transfer调度、Decode Kernel重复计算等多个问题,其中KV Transfer的额外开销从30%降至1%以下,Decode Kernel性能提升1.71倍。这些工作此前通常需要资深基础设施工程师团队花费数周才能完成。

正向循环初步形成,企业AI落地门槛持续降低

唐杰表示,目前的实践距离真正的递归自我改进仍有距离,但「模型优化系统、系统服务模型」的最小循环已经出现。人类工程师仍然负责设定目标、搭建反馈环境、审核高风险修改,角色正在从直接解决问题转向设计反馈系统。

优秘智能给企业主的启示:

本次智谱的实践再次印证了AI技术迭代速度正在不断加快,企业无需从零搭建底层能力,选择成熟的商用AI解决方案即可快速享受到技术红利。如果您希望了解企业AI化落地的可行路径,可访问优秘智能官网umi6.com咨询。

原始来源:https://www.ifanr.com/1680560?utm_source=rss&utm_medium=rss&utm_campaign=