大模型部署与网关Apache-2.0★ 9.4k近期已核验当前可评估
Xinference
通用 · 分布式模型推理平台
一站式分布式模型推理平台，LLM/向量/多模态全支持。
官方仓库直接开放，不需要填写联系方式；本站不代理或镜像第三方代码。
🌐本站只提供经核对的 GitHub 官方仓库链接。不代理、不镜像、不保存第三方代码；完整代码、Issue、Release 与最新状态请以官方仓库为准。
⚖️请遵守本项目当前版本的许可证以及所在国家/地区的法律法规；代码、模型、数据、素材和商标可能适用不同许可，使用者需自行完成最终合规复核。
上游校验快照
上游版本v3.1.0.rc1
最近推送2026-07-29
许可证快照Apache-2.0
官方源核验时间2026-07-30
已核对 GitHub 官方仓库地址、最近推送时间与许可证标识；版本取校验时官方 Releases 最新条目。
这是选型参考快照，不是实时监控结果。部署、升级或再分发前，请在官方仓库重新核对 Release/Tag、LICENSE、NOTICE、依赖及模型或素材授权。近期已核验距上次官方源核验 32 天。
人工复核重点
快照刷新时必须逐项检查；发现仓库归档、迁移或许可证变化，应先暂停推荐并完成人工判断。
归档或停用状态快照：校验时未归档
查看 GitHub 仓库是否出现 Archived、Disabled 或只读提示；如状态变化，暂停推荐并重新评估替代方案。
仓库迁移与所有者变化快照：https://github.com/xorbitsai/inference
确认访问后 owner/repo 与快照一致；如 GitHub 重定向到新地址，同步更新目录与官方链接并保留迁移说明。
许可证变化快照：Apache-2.0
核对当前 LICENSE、NOTICE 与 GitHub SPDX 标识；如许可证变化，先重新完成商用风险审查，再更新页面快照。
项目说明
Xinference 支持大语言模型、向量模型、多模态模型的分布式部署与统一调用，兼容 OpenAI 接口。适用于需要集中管理多种模型、对接多业务的中大型企业。
适用行业
数据敏感企业软件服务制造金融科研教育
企业为什么会考虑它
常见业务痛点
- 模型供应商接口与用量分散
- 本地部署的算力和容量难估算
- 升级、限流、故障回退和成本缺少治理
可解决的问题
- 形成可控的模型运行或统一调用入口
- 改善数据边界与供应商切换能力
- 统一观察模型成本、延迟和可用性
核心能力
- 分布式模型推理
- LLM / 向量 / 多模态统一
- 兼容 OpenAI 接口
- 集中管理多模型
典型应用场景
多模型集中管理多业务统一模型服务中大型企业推理平台
部署与持续运营要求
部署难度：较高
需要结合模型规模、并发和硬件做容量评估；生产环境还要补监控、限流与故障回退。
技术门槛
- Linux/容器与网络运维能力
- CPU/GPU、显存和并发容量评估
- 鉴权、限流、日志与安全隔离
运营要求
- 跟踪模型与运行时版本
- 建立容量水位、成本和故障告警
- 定期验证备选模型与回退路径
许可证与商用风险
常规复核
基础代码通常允许使用、修改和商业部署；需保留许可证与适用的 NOTICE/变更说明，并另行核对依赖、模型权重、数据、素材和商标。
本页是选型提示，不构成法律意见；请以使用版本的 LICENSE、NOTICE、模型卡及素材授权文件为准。优秘实践建议
先以真实业务流量做容量测试，不为“完全私有化”提前购买过量算力；接口治理和模型部署可分阶段推进。
快速上手
- 前往 GitHub 官方仓库，按官方说明选择 Release、Tag 或默认分支。
- 阅读仓库内
README与LICENSE，按官方文档准备运行环境与依赖。 - 如需模型权重或大体积资源，请按官方说明从原始渠道获取，并分别核对许可。
- 需要落地到业务、私有化部署或定制开发，可预约优秘智能技术对接。
需要把它接入真实业务？
如果你需要选型复核、部署评估、国产模型适配或系统集成，可自愿预约技术对接；获取开源代码不受影响。
咨询是独立可选动作，不影响访问 GitHub 官方仓库。
优秘智能