大模型部署与网关Apache-2.0★ 9.4k本地镜像可下载
Xinference
通用 · 分布式模型推理平台
一站式分布式模型推理平台，LLM/向量/多模态全支持。
🌐访问原始 GitHub 仓库通常需要海外网络环境；本站「源码镜像」可直接下载，无需翻墙。镜像仅含源码核心、已剔除模型权重与大体积资源，完整代码与最新版请以 GitHub 为准。
⚖️请遵守本项目的开源许可证（Apache-2.0）以及所在国家/地区的法律法规，合规操作与使用；优秘智能仅做精选整理与镜像转存，不对第三方开源项目负责，使用者自行承担相应责任。
项目说明
Xinference 支持大语言模型、向量模型、多模态模型的分布式部署与统一调用，兼容 OpenAI 接口。适用于需要集中管理多种模型、对接多业务的中大型企业。
核心能力
- 分布式模型推理
- LLM / 向量 / 多模态统一
- 兼容 OpenAI 接口
- 集中管理多模型
典型应用场景
多模型集中管理多业务统一模型服务中大型企业推理平台
与优秘智能方案的结合
优秘智能的灵枢网关提供多模型统一接入与私有化部署；此类项目可作为本地化部署的技术参考，我们提供算力选型与落地支持。
快速上手
- 下载本站源码镜像（免翻墙）或前往 GitHub 获取完整仓库（需海外网络）。
- 阅读仓库内
README与LICENSE，按官方文档准备运行环境与依赖。 - 如需模型权重/大体积资源，请按官方说明从原始渠道获取（镜像已剔除）。
- 需要落地到业务、私有化部署或定制开发，可预约优秘智能技术对接。
开源许可证Apache-2.0（允许再分发，请保留 LICENSE）
GitHub 地址留资后可见（访问需海外网络）
本地镜像已提供（清洗后源码核心，含 LICENSE 与镜像说明）
下载 / 获取地址前需填写手机号，方便我们在有更新或落地需求时与你联系。