外部行业实践 ·
JetBrains搭建集中化AI治理体系管控AI支出快速增长
JetBrains面对内部AI使用普及带来的支出高速上涨问题,未采用限制开发者AI工具选择的方案,而是通过搭建统一访问记账层、Central CLI等集中化治理设施,在保留开发者工具选择权的同时,实现AI支出的可视化与可管控,目前已有超千名开发者采用该治理方案。
仅供行业学习与场景参考,不代表优秘交付、客户关系或效果承诺。
面临的问题
内部AI工具使用分散,开发者每月常用多个AI工具,新模型推出后token消耗急剧上升,支出增速快;分散的工具导致账单难以统计,早期手动汇总数据效率极低;初期仅实现支出可视化,缺乏有效干预管控的切入点;若强行限制工具选型,会因AI工具市场迭代快错过更优的产品选择。
AI 落地做法
构建统一的AI访问与记账层,开发Central CLI作为自研及第三方AI工具的统一调用入口,所有请求经由内部AI平台路由,打通现有AI-credit体系,支持为不同开发者、团队配置支出限额,将工具选择权与支出治理能力分层,不限制开发者使用合适的AI工具。
实施路径
- 手动汇总AI使用与费用数据生成各供应商及工具的开销快照
- 通过供应商API与内部仪表盘实现AI支出数据的自动化更新、展示及预测
- 将内部开发者开发的wrapper扩展为Central CLI,作为统一的AI工具调用入口
- AI请求统一经由内部现有AI平台路由,建立开发者与模型供应商之间的共享控制点
- 复用现有AI-credit体系,支持为单个开发者、团队等不同主体配置支出限制
来源:InfoQ 中文(本站改写摘要,成效数据均取自原文)
项目背景
企业内部AI使用加速普及,生成式AI成本管理成为普遍问题,部分企业通过限制AI工具选型、压缩不必要AI使用的方式控制支出,但JetBrains认为AI工具市场迭代速度快,限制选型的方案灵活性不足。 本案例依据「InfoQ 中文」公开发布的信息整理,原文:https://www.infoq.cn/article/CQhb4TOREpEZshtqWZMy?utm_source=rss&utm_medium=article
业务问题
内部AI工具使用分散,开发者每月常用多个AI工具,新模型推出后token消耗急剧上升,支出增速快;分散的工具导致账单难以统计,早期手动汇总数据效率极低;初期仅实现支出可视化,缺乏有效干预管控的切入点;若强行限制工具选型,会因AI工具市场迭代快错过更优的产品选择。
实践方案
构建统一的AI访问与记账层,开发Central CLI作为自研及第三方AI工具的统一调用入口,所有请求经由内部AI平台路由,打通现有AI-credit体系,支持为不同开发者、团队配置支出限额,将工具选择权与支出治理能力分层,不限制开发者使用合适的AI工具。
原始来源:https://www.infoq.cn/article/CQhb4TOREpEZshtqWZMy?utm_source=rss&utm_medium=article