技术洞察

最新研究揭示LLM智能体技能注入风险 企业AI部署需加强安全校验

🎧 本文 AI 播客

优秘智能观察:大语言模型(LLM)智能体已逐步渗透到企业内容生产、客户服务、营销获客、内部运营等多个经营场景,小到1人创业团队的数字员工,大到集团级的企业智脑中枢,AI智能体的稳定性和安全性直接关系到企业经营数据安全与业务连续性。近期arXiv发布的一项LLM安全领域最新研究,披露了一种隐蔽性极强的技能注入攻击方式,为企业AI部署的风险防控提供了重要参考。

新型Poise攻击:隐蔽性极强的LLM智能体技能注入风险

当前不少AI智能体通过加载第三方技能扩展能力,该模式在降低AI应用开发门槛的同时,也带来了“技能投毒”的安全隐患:被篡改的技能可在正常完成用户指定合法任务的同时,悄悄执行攻击者植入的恶意指令,常规的输出结果校验工具很难识别这类隐蔽异常。

本次研究披露的Poise攻击模式,突破了传统技能投毒的可靠性与可见性矛盾——此前投毒者要么选择放在YAML前置配置块里(攻击成功率高但容易被检测),要么放在技能正文里(隐蔽性高但容易被模型跳过导致攻击失效),而Poise是位置感知型攻击,会根据技能的上下文结构,在正文合理位置插入一句看起来完全正常、实际携带恶意指令的内容。在该研究设定的Skill-Inject测试池、基于codex+gpt-5.2的测试环境下,Poise攻击达到了近89.3%的攻击成功率,与高暴露的YAML配置投毒效果接近,且在该研究采用的SkillTester审计标准下,仅有5.6%的概率被现有AI安全检测工具判定为高风险,隐蔽性极强。

不同规模企业AI部署的安全防控建议

  • 谨慎接入第三方智能体技能,优先选择正规服务商原生能力:对于1人公司、超级个体与中小商家而言,本身没有专门的AI安全团队,尽量不要随意接入来源不明的第三方AI插件、技能包,优先选择正规AI服务商的原生集成能力,从来源上降低风险;成长型企业如果确实需要接入外部技能扩展能力,要先在与生产环境隔离的测试 sandbox 中运行验证,连续多轮测试确认没有异常操作后再正式上线;集团类企业可建立内部统一的AI技能安全审核机制,所有外部接入的能力都要经过安全、技术、业务三方团队的交叉核验,确认无风险后才可纳入内部能力库。
  • 完善AI系统全链路安全校验流程,避免单一校验漏判:不少企业目前仅对AI的最终输出内容做合规校验,很难识别这类“任务正常完成、恶意指令隐蔽执行”的攻击。建议企业在AI系统部署时,除了输出结果校验,还要增加技能加载环节的多轮安全审计,对指令的语义、执行逻辑、调用链路做交叉核验;有条件的企业可引入多模型交叉校验机制,用不同训练方向的安全大模型对技能内容做语义审核,识别看似符合上下文、实际携带恶意指令的内容,降低隐蔽攻击的漏判概率。
  • 采用最小权限原则分级部署AI能力,降低攻击损失上限:对涉及核心数据、敏感操作的AI智能体,严格限制其指令执行权限,比如处理客户隐私信息的客服AI、涉及营销费用投放的运营AI,仅开放其完成本职工作必需的最小权限,禁止其调用未授权的外部接口、导出敏感数据、执行系统级操作。同时可设置敏感操作人工复核机制,凡是涉及数据导出、费用支出、批量客户触达的操作,必须经过对应业务负责人确认后再执行,哪怕出现恶意指令,也不会造成大额损失。

优秘智能点评

企业在推进AI化转型的过程中,效率提升与安全防控需要同步建设,不能为了追求落地速度忽略安全风险。优秘智能旗下全系列AI产品,包括面向中小商家的灵伴·超级员工、面向营销团队的营销智脑、面向集团的企业智脑,在架构设计阶段就遵循“安全左移”的原则,底层灵枢网关统一管控所有模型调用、数据流转与外部接口接入,所有外部能力接入必须经过多轮安全校验,同时支持企业自定义权限规则,可根据不同岗位、不同场景配置AI的操作权限,从技术架构层面帮助企业降低AI应用的安全风险。有AI应用落地需求的企业主,可访问优秘智能官网umi6.com咨询了解更适配企业需求的AI解决方案。

读完这篇,下一步可以这样落地

把文章里的方法,拆成你的企业 AI 化方案

留下联系方式,顾问会结合你的行业、团队规模和当前业务目标,给你一份更具体的落地建议。

先做 AI 测评
结合行业场景输出落地路径信息严格保密
内容不是终点

让顾问帮你判断,哪些 AI 场景值得先做

一次沟通即可梳理当前业务里最容易产生回报的 AI 应用入口。

先做 AI 测评
结合行业场景输出落地路径信息严格保密