外部行业实践 ·
是石科技自研Meta-Infer推理引擎通过纯软件优化挖潜GPU算力，大幅提升大模型推理效率
当前大模型算力需求持续走高，高端GPU采购成本高、供给紧张，大量未纳入主流框架官方验证范围的PCIe显卡、国产GPU等长尾硬件，因软件适配不到位实际性能远低于硬件理论上限。是石科技作为全栈算力运营商，自研Meta-Infer高性能大模型推理引擎，通过内核补齐、通信重构等纯软件优化手段，在不改动模型结构与任务逻辑的前提下，充分释放各类异构GPU硬件的算力潜力，大幅提升多款大模型、视频生成任务的推理吞
仅供行业学习与场景参考，不代表优秘交付、客户关系或效果承诺。
面临的问题
一是大模型落地进程中算力需求不断增长，高端GPU购置成本高、供给受限，企业算力投入压力较大，行业迫切需要提升现有算力资源的利用率；二是大量PCIe架构显卡、国产GPU等未纳入主流开源框架官方验证范围的硬件，使用社区默认部署方案运行时，会出现算子回退到低效通用实现、集合通信参数适配不当、显存与并行配置不合理等问题，硬件算力潜力被软件适配短板限制，实际运行性能远低于官方标称值，仅能满足基础运行要求，达不到规模化生产服务的性能标准；三是PCIe架构显卡的卡间通信带宽远低于NVLink等高速互联方案，直接套用默认调度策略会导致GPU大量时间处于通信等待状态，算力资源闲置浪费，长文本推理、视频生成等复杂任务的性能瓶颈尤其明显。
AI 落地做法
是石科技依托自身超大规模算力集群运营的技术积累，推出面向异构加速芯片的企业级高性能大模型推理引擎Meta-Infer，依靠纯软件优化填补硬件与模型框架之间的性能差距，在不调整模型结构、不修改任务语义、不改变硬件配置的前提下，充分挖掘各类GPU硬件的推理性能。引擎通过内核补齐释放被硬件适配问题屏蔽的高性能运行路径，通过通信与计算的协同重构打通通信、调度、显存分配等环节的性能瓶颈，形成四项核心优化能力，可适配多种主流大模型、视频生成任务，同时支持国产GPU的专属性能优化，帮助企业用成本更低的硬件达到接近高端GPU的推理服务能力，降低算力使用成本，缓解高端算力供给不足的压力。
实施路径
- 内核适配优化：针对长尾硬件在主流框架下无法触发高性能算子的问题，先对齐硬件与框架的元数据规则，调整页尺寸相关配置，让原生高性能算子可以正常调用；替换硬件不兼容的老旧计算内核，换成针对目标硬件深度优化的版本；调高通信快路径的触发阈值，让更多通信任务无需走慢速回退逻辑
- 算子与通信协同优化：对注意力、投影等大模型核心计算算子做融合处理，减少单步计算的耗时；合理排布计算任务与集合通信的执行时序，把统计类计算放到通信等待间隙并行运行；改写集合通信的底层逻辑适配PCIe等硬件的带宽特性，减少消息传输带来的等待开销
- 并行与显存动态调优：摒弃框架默认的全局固化并行参数，针对预填充、生成两个不同运行阶段分别设置张量并行、上下文并行策略；根据硬件显存的实际特性，动态调整静态显存占用比例、KV缓存容量参数，避免显存溢出和算子回退问题；针对不同的业务负载类型，灵活组合流水线、张量并行的配置，适配高并发短请求、超长上下文请求等不同场景的需求
- 智能缓存复用：针对长文本、视频生成类场景，提供带风险感知的缓存复用机制，结合实时生成状态动态判断缓存复用和刷新的时机，在不降低输出质量的前提下减少重复计算和显存读写操作
- 国产GPU专属适配：针对国产GPU单独梳理任务执行路径，显式开启对应平台专属的优化稀疏注意力实现，关闭不兼容的其他平台专属特性；根据不同推理阶段设置差异化的通信策略，把不同类型的计算任务拆分到不同的执行流中并行提交，进一步和集合通信操作重叠提升运行效率
来源：量子位（本站改写摘要，成效数据均取自原文）
项目背景
当前AI大模型应用快速普及，行业对算力的需求持续攀升，高端GPU采购成本居高不下、供给紧张，行业竞争方向从单纯追逐顶级硬件转向挖掘现有算力资源的使用效率。过去大量长尾GPU硬件因为框架适配问题性能无法充分释放，仅能满足基础运行要求，存在较大的优化空间。是石科技作为独立第三方全栈算力运营商，具备国家级计算中心运营经验，拥有超大规模集群全栈技术服务实力，因此开展基于软件优化的算力挖潜落地实践。 本案例依据「量子位」公开发布的信息整理，原文：https://www.qbitai.com/2026/09/496925.html
业务问题
一是大模型落地进程中算力需求不断增长，高端GPU购置成本高、供给受限，企业算力投入压力较大，行业迫切需要提升现有算力资源的利用率；二是大量PCIe架构显卡、国产GPU等未纳入主流开源框架官方验证范围的硬件，使用社区默认部署方案运行时，会出现算子回退到低效通用实现、集合通信参数适配不当、显存与并行配置不合理等问题，硬件算力潜力被软件适配短板限制，实际运行性能远低于官方标称值，仅能满足基础运行要求，达不到规模化生产服务的性能标准；三是PCIe架构显卡的卡间通信带宽远低于NVLink等高速互联方案，直接套用默认调度策略会导致GPU大量时间处于通信等待状态，算力资源闲置浪费，长文本推理、视频生成等复杂任务的性能瓶颈尤其明显。
实践方案
是石科技依托自身超大规模算力集群运营的技术积累，推出面向异构加速芯片的企业级高性能大模型推理引擎Meta-Infer，依靠纯软件优化填补硬件与模型框架之间的性能差距，在不调整模型结构、不修改任务语义、不改变硬件配置的前提下，充分挖掘各类GPU硬件的推理性能。引擎通过内核补齐释放被硬件适配问题屏蔽的高性能运行路径，通过通信与计算的协同重构打通通信、调度、显存分配等环节的性能瓶颈，形成四项核心优化能力，可适配多种主流大模型、视频生成任务，同时支持国产GPU的专属性能优化，帮助企业用成本更低的硬件达到接近高端GPU的推理服务能力，降低算力使用成本，缓解高端算力供给不足的压力。