大模型底座 · 中文选型解读

ollama

已解读GitHubMITGo

Ollama是一款可快速部署运行Kimi、GLM、DeepSeek、Qwen等各类开源大模型的工具,支持对接多类开发、办公场景的应用系统。

180.5kstar今天仍有更新维护状态MIT · 可评估商用商用提醒
在 GitHub 查看官方项目
适合解决作为问答、生成和智能体应用的基础模型
更适合正在比较模型能力、成本与部署方式的团队
投入判断上手门槛:较高。需要评测真实业务数据与许可边界
一分钟看懂

这个项目值得继续研究吗?

AI 依据上游资料解读 · 2026/9/3

Ollama是一款可快速部署运行Kimi、GLM、DeepSeek、Qwen等各类开源大模型的工具,支持对接多类开发、办公场景的应用系统。

解决什么问题
企业在落地大模型应用时,公有大模型存在数据泄露风险,自行搭建开源大模型的部署调优复杂度高,对接业务系统的流程繁琐,落地成本较高。
适合什么团队
适合有本地私有化大模型部署需求的企业信息化团队、AI应用开发团队,以及需要搭建内部专属AI工具的业务团队使用。
使用前注意
项目采用MIT许可,可免费商用,支持多平台部署,本身无额外使用限制,运行对应大模型的硬件要求需参考所选模型的官方说明。

本页用于缩短初步筛选时间,不构成技术、采购或法律结论。 正式使用前请在真实业务数据上验证,并以官方说明与许可证为准。

项目导读

从官方资料看清能力、部署与采用边界

AI 翻译整理 · 保留官方来源

以下内容依据项目公开 README 或模型卡翻译整理,代码、命令和产品名保持原样。

项目定位

Ollama是一款开源的大模型运行管理工具,核心目标是降低开源大模型的部署和使用门槛,无需复杂的环境配置即可快速运行各类主流开源大模型,包括Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma等,帮助企业快速落地私有化大模型相关应用。

核心能力

  1. 多模型兼容:支持市面上绝大多数主流开源大模型,可在ollama.com/library查看完整的可用模型列表。
  2. 多形式调用:提供CLI命令行工具、REST API,以及Python、JavaScript等多语言SDK,方便不同场景的调用需求。
  3. 丰富的生态对接:支持对接上百款第三方工具,覆盖聊天界面、代码编辑器、AI应用开发框架、移动/桌面客户端等多个场景,无需额外适配即可快速组合使用。
  4. 内置集成能力:可直接启动对接Claude Code、Copilot CLI、OpenClaw等成熟应用,快速搭建代码辅助、多渠道AI助手等能力。

典型使用方式

直接对话大模型

通过命令行即可快速启动并与指定大模型对话,示例命令如下:

ollama run gemma4

启动预置集成应用

可通过命令快速启动对应场景的集成应用:

  • 启动代码辅助相关集成:ollama launch claude,支持对接Claude Code、Codex、Copilot CLI等代码辅助工具。
  • 启动多渠道AI助手:ollama launch openclaw,可将Ollama能力接入WhatsApp、Telegram、Slack、Discord等渠道,搭建通用AI助手。

二次开发对接业务系统

如果需要将大模型能力融入自有业务系统,可直接调用REST API,示例如下:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

也可使用官方提供的Python、JavaScript SDK快速开发,Python示例:

from ollama import chat
response = chat(model='gemma4', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response.message.content)

对接第三方界面搭建AI平台

如果需要可视化的操作界面,可直接对接生态内的成熟产品,比如:

  • 对接Open WebUI、Lobe Chat等开源聊天界面,搭建内部通用AI聊天平台。
  • 对接Dify.AI、AnythingLLM等应用开发平台,快速搭建RAG(检索增强生成,一种让大模型可调用企业自有知识库内容的技术)知识库问答、智能客服等应用。
  • 对接Continue、Cline等代码编辑器插件,搭建内部专属的代码辅助工具。

部署要求

Ollama支持多场景部署,操作门槛较低:

  1. 本地部署:支持macOS、Windows、Linux系统,可通过官方提供的一键脚本完成安装,也可下载安装包手动安装,同时提供官方Docker镜像ollama/ollama可快速容器化部署。
  2. 云端部署:支持在Google Cloud、Fly.io、Koyeb等云平台直接部署。
  3. 包管理器安装:支持通过Homebrew、Pacman、Nix、Helm Chart等主流包管理器快速安装。

许可证与采用建议

项目采用MIT开源许可,企业可免费商用,也可对源码进行修改、二次分发,无额外许可限制。 对于需要私有化部署大模型的企业,优先推荐使用Ollama作为底层大模型运行底座,可大幅减少模型适配、环境配置的工作量,快速对接业务场景。如果有高并发、大流量的生产级使用需求,建议提前基于业务规模完成性能压测,按需配置硬件资源。

可核对的事实层

官方资料与来源

查看来源 →
  • deepseek
  • gemma
  • gemma3
  • glm
  • go
  • golang
  • gpt-oss
  • llama
  • llama3
  • llm
  • llms
  • minimax
默认分支main
关注仓库1.0k
复刻次数17.7k
开放议题3.9k
近期更新2026/9/2
仓库状态未标记归档
上游部署线索
### Infrastructure & Deployment

#### Cloud

- [Google Cloud](https://cloud.google.com/run/docs/tutorials/gpu-gemma2-with-ollama)
- [Fly.io](https://fly.io/docs/python/do-more/add-ollama/)
- [Koyeb](https://www.koyeb.com/deploy/ollama)
- [Harbor](https://github.com/av/harbor) - Containerized LLM toolkit with Ollama as default backend

#### Package Managers

- [Pacman](https://archlinux.org/packages/extra/x86_64/ollama/)
- [Homebrew](https://formulae.brew.sh/formula/ollama)
- [Nix package](https://search.nixos.org/packages?show=ollama&from=0&size=50&sort=relevance&type=packages&query=ollama)
- [Helm Chart](https://artifacthub.io/packages/helm/ollama-helm/ollama)
- [Gentoo](https://github.com/gentoo/guru/tree/master/app-misc/ollama)
- [Flox](https://flox.dev/blog/ollama-part-one)
- [Guix channel](https://codeberg.org/tusharhero/ollama-guix)

该片段来自项目 README,仅用于初步判断;实际部署请以官方文档为准。

核对上游原始说明节选

Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

Ollama

Start building with open models.

Download

macOS

curl -fsSL https://ollama.com/install.sh | sh

or download manually

Windows

irm https://ollama.com/install.ps1 | iex

or download manually

Linux

curl -fsSL https://ollama.com/install.sh | sh

Manual install instructions

Docker

The official Ollama Docker image ollama/ollama is available on Docker Hub.

Libraries

  • ollama-python
  • ollama-js

Community

  • Discord
  • 𝕏 (Twitter)
  • Reddit

Get started

ollama

You'll be prompted to run a model or connect Ollama to your existing agents or applications such as Claude Code, OpenClaw, OpenCode , Codex, Copilot, and more.

Coding

To launch a specific integration:

ollama launch claude

Supported integrations include Claude Code, Codex, Copilot CLI, DeepSeek Harness, Droid, and OpenCode.

AI assistant

Use OpenClaw to turn Ollama into a personal AI assistant across WhatsApp, Telegram, Slack, Discord, and more:

ollama launch openclaw

Chat with a model

Run and chat with Gemma 4:

ollama run gemma4

See ollama.com/library for the full list.

See the quickstart guide for more details.

REST API

Ollama has a REST API for running and managing models.

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

See the API documentation for all endpoints.

Python

pip install ollama
from ollama import chat

response = chat(model='gemma4', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response.message.content)

JavaScript

npm i ollama
import ollama from "ollama";

const response = await ollama.chat({
  model: "gemma4",
  messages: [{ role: "user", content: "Why is the sky blue?" }],
});
console.log(response.message.content);

Supported backends

  • llama.cpp project founded by Georgi Gerganov.

Documentation

  • CLI reference
  • REST API reference
  • Importing models
  • Modelfile reference
  • Building from source

Community Integrations

Want to add your project? Open a pull request.

Chat Interfaces

Web

  • Open WebUI - Extensible, self-hosted AI interface
  • Onyx - Connected AI workspace
  • LibreChat - Enhanced ChatGPT clone with multi-provider support
  • Lobe Chat - Modern chat framework with plugin ecosystem (docs)
  • NextChat - Cross-platform ChatGPT UI (docs)
  • Perplexica - AI-powered search engine, open-source Perplexity alternative
  • big-AGI - AI suite for professionals
  • Lollms WebUI - Multi-model web interface
  • ChatOllama - Chatbot with knowledge bases
  • Bionic GPT - On-premise AI platform
  • Chatbot UI - ChatGPT-style web interface
  • Hollama - Minimal web interface
  • Chatbox - Desktop and web AI client
  • chat - Chat web app for teams
  • Ollama RAG Chatbot - Chat with multiple PDFs using RAG
  • Tkinter-based client - Python desktop client

Desktop

  • Dify.AI - LLM app development platform
  • AnythingLLM - All-in-one AI app for Mac, Windows, and Linux
  • Maid - Cross-platform mobile and desktop client
  • Witsy - AI desktop app for Mac, Windows, and Linux
  • Cherry Studio - Multi-provider desktop client
  • Ollama App - Multi-platform client for desktop and mobile
  • PyGPT - AI desktop assistant for Linux, Windows, and Mac
  • Alpaca - GTK4 client for Linux and macOS
  • SwiftChat - Cross-platform including iOS, Android, and Apple Vision Pro
  • Enchanted - Native macOS and iOS client
  • RWKV-Runner - Multi-model desktop runner
  • Ollama Grid Search - Evaluate and compare models
  • macai - macOS client for Ollama and ChatGPT
  • AI Studio - Multi-provider desktop IDE
  • Reins - Parameter tuning and reasoning model support
  • ConfiChat - Privacy-focused with optional encryption

Mobile

  • Ollama Android Chat - One-click Ollama on Android
SwiftChat, Enchanted, Maid, Ollama App, Reins, and ConfiChat listed above also support mobile platforms.

Code Editors & Development

  • Cline - VS Code extension for multi-file/whole-repo coding
  • Continue - Open-source AI code assistant for any IDE
  • Void - Open source AI code editor, Cursor alternative
  • Copilot for Obsidian - AI assistant for Obsidian
  • twinny - Copilot and Copilot chat alternative
  • gptel Emacs client - LLM client for Emacs
  • Ollama Copilot - Use Ollama as GitHub Copilot
  • Obsidian Local GPT - Local AI for Obsidian
  • Ellama Emacs client - LLM tool for Emacs
  • orbiton - Config-free text editor with Ollama tab completion
  • AI ST Completion - Sublime Text 4 AI assistant
  • VT Code - Rust-based terminal coding agent with Tree-sitter
  • QodeAssist - AI coding assistant for Qt Creator
  • AI Toolkit for VS Code - Microsoft-official VS Code extension
  • Open Interpreter - Natural language interface for computers

Libraries & SDKs

  • LiteLLM - Unified API for 100+ LLM providers
  • Semantic Kernel - Microsoft AI orchestration SDK
  • LangChain4j - Java LangChain (example)
  • LangChainGo - Go LangChain (example)
  • Spring AI - Spring framework AI support (docs)
  • LangChain and LangChain.js with example
  • Ollama for Ruby - Ruby LLM library
  • any-llm - Unified LLM interface by Mozilla
  • OllamaSharp for .NET - .NET SDK
  • LangChainRust - Rust LangChain (example)
  • Agents-Flex for Java - Java agent framework (example)
  • Elixir LangChain - Elixir LangChain
  • [Ollama-rs for Rust