外部行业实践 ·
Grab自研LLM-Kit智能体框架落地 大幅压缩AI智能体上线周期
东南亚出行及本地生活服务商Grab为解决内部AI智能体部署效率低下、通用配套功能重复开发的问题,自主研发并落地了LLM-Kit智能体脚手架工具集,对内部已有的数百个智能体服务实现标准化管控,极大缩短了新智能体的上线耗时,可支撑覆盖商家、司机、用户的多类智能体业务场景,同时规避了固化平台带来的技术锁定风险。
仅供行业学习与场景参考,不代表优秘交付、客户关系或效果承诺。
面临的问题
过去Grab内部开发AI智能体服务时,核心推理逻辑的开发耗时极短,但生产环境的适配封装环节往往需要两周甚至更长时间,成为制约部署效率的核心卡点;每个智能体服务都要独立完成密钥管控、链路追踪、服务发现、效果评测等配套功能的方案设计与开发工作,同类需求重复处理造成大量人力物力浪费;新增智能体功能、接入新的模型服务商时都要重新部署服务,适配成本极高;如果直接选用固化的智能体平台方案,还容易出现方案迭代滞后、技术绑定的问题,无法适配团队现有开发流程。
AI 落地做法
Grab没有选用市面上现成的固化智能体平台,而是结合自身现有基础设施自研了LLM-Kit智能体脚手架及配套集成工具集,通过集中统一处理所有智能体服务的通用配套需求,替换过去单个服务重复搭建同类功能的模式;同时配套搭建了统一的GrabGPT网关、MCP工具服务器集群、统一评测体系,搭配内部的Palana安全管控系统、多智能体工程支持系统,形成了完整的智能体开发部署支撑体系,既有效提升了开发效率,又保留了足够的技术灵活性,避免技术锁定。
实施路径
- 结合现有基础设施搭建LLM-Kit脚手架工具集,为新创建的智能体服务直接提供基础的智能体执行逻辑,内置评测、链路追踪、密钥管理以及工具服务器对接能力
- 工程师仅需提交表单即可自动生成预配置的代码仓库,包含可直接运行的接口服务,内置常用智能体开发模块、链路追踪工具、密钥管理工具及服务发现能力,自带支持多类文本评分指标及大模型评分的评测接口
- 搭建支持Model Context Protocol的MCP服务器集群,智能体运行过程中可自动从已注册的MCP服务器中获取可用工具,一项功能仅需注册一次即可被所有智能体共享使用
- 部署兼容通用大模型接口的GrabGPT Gateway,前置接入多家模型服务商并自动注入访问凭证,应用代码无需写入固定服务商信息,新增模型服务商仅需完成后台配置即可快速接入
- 采用轻量化框架而非固化平台的设计思路,适配开发者现有工作习惯,规避技术锁定风险
- 配套Palana安全管控系统,保障智能体实验过程中的身份、密钥、网络访问和运营数据可见性处于可控状态
来源:InfoQ 中文(本站改写摘要,成效数据均取自原文)
项目背景
随着Grab业务规模的持续扩张,内部AI智能体的应用场景和数量不断增加,已有数百个智能体服务上线运行,覆盖数百万商家、司机、消费者的日常业务场景,智能体开发部署的效率瓶颈、重复建设问题愈发突出,同时企业需要兼顾开发效率与技术灵活性,避免长期的技术绑定风险。 本案例依据「InfoQ 中文」公开发布的信息整理,原文:https://www.infoq.cn/article/AFC40lL0yaxVCDvBRFOK?utm_source=rss&utm_medium=article
业务问题
过去Grab内部开发AI智能体服务时,核心推理逻辑的开发耗时极短,但生产环境的适配封装环节往往需要两周甚至更长时间,成为制约部署效率的核心卡点;每个智能体服务都要独立完成密钥管控、链路追踪、服务发现、效果评测等配套功能的方案设计与开发工作,同类需求重复处理造成大量人力物力浪费;新增智能体功能、接入新的模型服务商时都要重新部署服务,适配成本极高;如果直接选用固化的智能体平台方案,还容易出现方案迭代滞后、技术绑定的问题,无法适配团队现有开发流程。
实践方案
Grab没有选用市面上现成的固化智能体平台,而是结合自身现有基础设施自研了LLM-Kit智能体脚手架及配套集成工具集,通过集中统一处理所有智能体服务的通用配套需求,替换过去单个服务重复搭建同类功能的模式;同时配套搭建了统一的GrabGPT网关、MCP工具服务器集群、统一评测体系,搭配内部的Palana安全管控系统、多智能体工程支持系统,形成了完整的智能体开发部署支撑体系,既有效提升了开发效率,又保留了足够的技术灵活性,避免技术锁定。
原始来源:https://www.infoq.cn/article/AFC40lL0yaxVCDvBRFOK?utm_source=rss&utm_medium=article