蚂蚁集团Ming-Flash-Omni全模态统一大模型研发实践

项目背景

当前多模态大模型正从「语言模型+多模态外挂」向「原生全模态统一」范式迁移，行业方向是让模型兼具多模态感知能力与理解、生成一体化能力，原生多模态、全模态覆盖、理解生成统一是该领域的核心发展目标。 本案例依据「InfoQ 中文」公开发布的信息整理，原文：https://www.infoq.cn/article/OlBv9DATXabu0bb4kAPt?utm_source=rss&utm_medium=article

面临的痛点

全模态统一大模型研发存在三类核心挑战：一是模态统一层面，难以基于统一架构实现音视图文多模态协同理解，需在桥接或原生训练范式中做合理选择；二是任务统一层面，理解任务的去噪需求与生成任务的细节还原、发散创造需求存在天然的表征冲突，难以在同一架构下实现感知与表达闭环；三是多模态数据与模型存在异构性，不同模态序列长度、不同任务收敛速度差异较大，联合训练难度高。

优秘的方案

针对核心挑战，团队分两部分落地解决方案：模态统一层面，设计适配多模态的multi-router MOE架构解决多模态专家分化问题，推出AnyExperts方案按token重要程度动态分配专家，兼顾训练效果与推理效率；配套全模态协同训练策略，按能力维度划分训练阶段动态匹配各模态数据配比，基于任务收敛速度动态调节学习率；采用原生多模态训练范式，在语言模型预训练早期引入多模态序列实现表征空间共同对齐。任务统一层面，先基于冻结的全模态理解MOE基座引入可学习query实现图像、语音生成能力，后续补充生成式分割预训练任务提升生成侧细粒度知识，确保生成任务加入不损害原有理解任务效果。

实施路径

落地成效