优秘智能 · 内容中心

技术洞察 · 2026-10-06

AI偏好优化技术新突破:BPS法大幅提升大模型指令匹配准确率

优秘智能观察到南京大学联合快手发布AI偏好优化新技术BPS,可显著提升大模型指令匹配精度,为各规模企业AI应用落地提供新路径。

🎧 本文 AI 播客

优秘智能观察:近日,南京大学与快手科技联合发布的AI偏好优化技术新成果,为解决大模型指令匹配误差、降低企业AI应用落地成本提供了新的技术路径,对中小微企业布局AI营销、智能客服等场景具备参考价值。

BPS技术核心逻辑:填补边界故障偏好标注空白

当前主流的校正式离线偏好训练流程,通常仅将大模型输出的故障内容判定为原提示下的不合格响应,忽略了「边界故障」场景——即响应虽不符合原指令要求,却能匹配邻近意图或约束条件的情况,这类标注缺失会导致大模型的指令适配能力存在短板。

本次发布的双向偏好合成(BPS)技术,是面向主流直接偏好优化(DPO)训练方案的新型数据构建方法:针对每一个验证后的边界故障,除保留原提示下的常规正向配对外,额外新增匹配响应实际内容的合成提示下的反向配对,实现同一份响应在错误场景被拒绝、在适配场景被选用的标注逻辑,无需修改DPO训练目标、无需额外训练奖励模型、也不需要在线采样即可完成优化。

公开测试数据显示,基于Qwen3-4B-Instruct模型测试,BPS技术在保留原场景排序能力的同时,将匹配场景的排序准确率从6.8%提升至62.3%,在多语种多轮指令跟随场景下效果提升尤为明显,人工盲测也验证了反向偏好标注的合理性。

对企业AI落地的实用价值

这项技术进展对不同规模的企业布局AI应用都有正向意义:

优秘智能点评

大模型指令匹配精度是企业AI应用落地的核心基础,直接决定了AI工具的可用性与效率提升幅度。优秘智能聚焦AI在企业营销、经营场景的落地应用,旗下营销智脑、灵秘数字分身、超级员工等产品均持续跟进前沿技术迭代,为不同规模的企业提供稳定、高效的AI经营工具。如需了解更多企业AI转型方案,可前往优秘智能官网umi6.com咨询。

原始来源:https://arxiv.org/abs/2610.04328