1. 简介
Ollama 是一个开源的本地 LLM 运行工具,一条命令就能在本地跑 Llama、Qwen、DeepSeek 等开源模型,无需复杂的环境配置。
2. 核心特点
- 开箱即用:一条命令安装,一条命令拉模型,一条命令跑对话
- 本地运行:数据不出本机,隐私有保障
- 多模型支持:Qwen、DeepSeek、Llama、Gemma、Mistral 等主流开源模型
- GPU 加速:自动检测 NVIDIA / Apple Silicon GPU,推理速度拉满
- API 兼容:内置 REST API,兼容 OpenAI API 格式,方便集成到应用中
3. 适用场景
- 本地开发:不依赖云端 API,本地开发调试 AI 应用
- 学习研究:快速体验不同模型的能力差异
- 隐私场景:数据不出机器,适合敏感业务
- 模型评测:本地部署多个模型,横向对比效果
4. 小结
Ollama 是本地大模型的运行引擎,一条命令就能跑起开源 LLM。
| 知识点 | 说明 |
|---|---|
| 定位 | "大模型的 Docker",本地运行开源 LLM |
| 核心优势 | 开箱即用、本地隐私、GPU 加速、兼容 OpenAI API |
| 支持模型 | Qwen、DeepSeek、Llama、Gemma、Mistral 等主流开源模型 |
| 适用场景 | 本地开发、学习研究、隐私场景、模型评测 |
接下来安装并启动 Ollama,在 Mac 上跑起来。