外部行业实践 ·
小米直播展示MiMo系列大模型训练全过程，探索强化学习规模化应用支撑多业务AI迭代
小米大模型团队为探索强化学习的规模化应用边界，公开了MiMo-V2.6的Pro和Flash两款模型的训练直播页面，对外实时展示训练成本、进度、测试通过率、故障情况等信息。本次训练重点围绕编程等多任务场景打磨模型的Agent能力，相关成果后续将应用到小米手机、汽车、智能家居等多条业务线的AI功能中，支撑其三年600亿元的AI战略投入落地，同时为大模型行业提供可参考的强化学习训练实践样本。
仅供行业学习与场景参考，不代表优秘交付、客户关系或效果承诺。
面临的问题
当前大模型强化学习规模化落地缺少公开可参考的实操经验，行业普遍仅对外发布最终训练成果，训练过程中的故障处置、参数调校、效果迭代等核心经验很少对外共享，企业探索技术路线的试错成本居高不下。面向多业务场景落地的Agent大模型训练难度较高，需要结合真实用户需求搭建训练数据集、还原真实使用场景构建可交互的训练环境、设置科学的效果评估标准，任意环节出现偏差都会导致训练完成的模型无法匹配实际使用需求。大模型训练需要投入海量算力与人力成本，一旦技术路线选择失误会造成大量资源浪费，同时行业竞争激烈，头部企业均在布局强化学习技术，若技术验证效率偏低很容易在行业竞争中处于劣势。小米的大模型能力需要适配手机、汽车、智能家居等多类差异较大的业务场景，不同场景对模型的能力要求存在明显区别，需要模型具备稳定的多步任务处理、环境适配、上下文理解能力才能保障产品端的用户体验。
AI 落地做法
小米围绕强化学习规模化落地的核心目标，推出了系列技术与管理举措：第一是对外公开MiMo-V2.6系列两款模型的全训练过程，实时披露训练成本、进度、测试效果、故障情况等信息，后续还将开源相关训练细节，邀请行业从业者共同参与讨论优化；第二是搭建适配多任务的训练框架，结合内部用户的真实需求构造训练数据，还原真实使用场景搭建可交互的训练环境，支持编程、视觉、聊天等多类任务混合训练；第三是单独配置评分算力搭建效果校验系统，对模型每轮训练的输出结果进行精准评分，避免给模型错误的反馈引导；第四是重点以编程任务为核心打磨模型能力，借助编程任务对规划、上下文管理能力的高要求，沉淀可迁移到其他复杂任务的通用能力；第五是建立完善的技术预研与资源分配机制，正式开展大规模训练前先验证技术方案的可行性，降低无效投入，同时合理分配当前模型优化与下一代模型预研的资源，保障技术迭代的连续性。
实施路径
- 开放MiMo-V2.6 Pro和Flash两款模型的训练直播页面，实时展示训练成本、进度、DeepSWE v1.1软件开发测试通过率、故障通报等信息，后续将开源相关训练细节
- 单个训练步骤设置1568条提示词，每条提示词对应16次尝试，累计产生25088条轨迹，单训练步骤涉及约20亿token
- 结合内部用户实际使用需求构建训练数据集，还原真实使用场景搭建训练环境和执行框架，支持多类任务混合训练
- 单独调配评分算力，搭建配套评分系统对模型训练效果进行校验，避免向模型传递错误反馈
- 训练内容以代码类任务为核心，同时混合视觉、聊天等任务，通过编程任务打磨模型的规划、上下文管理能力
- 正式启动大规模训练前先验证各类技术方案的可行性，再分配算力和人力开展正式训练，统筹当前模型打磨与下一代模型研发的资源分配
来源：钛媒体（本站改写摘要，成效数据均取自原文）
项目背景
当前全球大模型行业已经进入落地竞争阶段，强化学习被公认为提升大模型Agent能力的核心技术路径，但强化学习规模化应用的投入产出比、技术优化方向尚未形成明确的行业共识。小米此前已推出多代MiMo系列大模型，创始人雷军曾宣布未来三年将在AI领域投入至少600亿元，AI技术需要落地到手机、汽车、智能家居、AI编程助手等多条业务线，既要支撑C端用户的产品体验升级，也要支撑MiMo Code等商业化业务的发展，对大模型的多场景适配能力、稳定性要求极高。 本案例依据「钛媒体」公开发布的信息整理，原文：https://www.tmtpost.com/8144556.html
业务问题
当前大模型强化学习规模化落地缺少公开可参考的实操经验，行业普遍仅对外发布最终训练成果，训练过程中的故障处置、参数调校、效果迭代等核心经验很少对外共享，企业探索技术路线的试错成本居高不下。面向多业务场景落地的Agent大模型训练难度较高，需要结合真实用户需求搭建训练数据集、还原真实使用场景构建可交互的训练环境、设置科学的效果评估标准，任意环节出现偏差都会导致训练完成的模型无法匹配实际使用需求。大模型训练需要投入海量算力与人力成本，一旦技术路线选择失误会造成大量资源浪费，同时行业竞争激烈，头部企业均在布局强化学习技术，若技术验证效率偏低很容易在行业竞争中处于劣势。小米的大模型能力需要适配手机、汽车、智能家居等多类差异较大的业务场景，不同场景对模型的能力要求存在明显区别，需要模型具备稳定的多步任务处理、环境适配、上下文理解能力才能保障产品端的用户体验。
实践方案
小米围绕强化学习规模化落地的核心目标，推出了系列技术与管理举措：第一是对外公开MiMo-V2.6系列两款模型的全训练过程，实时披露训练成本、进度、测试效果、故障情况等信息，后续还将开源相关训练细节，邀请行业从业者共同参与讨论优化；第二是搭建适配多任务的训练框架，结合内部用户的真实需求构造训练数据，还原真实使用场景搭建可交互的训练环境，支持编程、视觉、聊天等多类任务混合训练；第三是单独配置评分算力搭建效果校验系统，对模型每轮训练的输出结果进行精准评分，避免给模型错误的反馈引导；第四是重点以编程任务为核心打磨模型能力，借助编程任务对规划、上下文管理能力的高要求，沉淀可迁移到其他复杂任务的通用能力；第五是建立完善的技术预研与资源分配机制，正式开展大规模训练前先验证技术方案的可行性，降低无效投入，同时合理分配当前模型优化与下一代模型预研的资源，保障技术迭代的连续性。