1. Ollama 简介

2 min

1. 简介

Ollama 是一个开源的本地 LLM 运行工具,一条命令就能在本地跑 Llama、Qwen、DeepSeek 等开源模型,无需复杂的环境配置。

2. 核心特点

  • 开箱即用:一条命令安装,一条命令拉模型,一条命令跑对话
  • 本地运行:数据不出本机,隐私有保障
  • 多模型支持:Qwen、DeepSeek、Llama、Gemma、Mistral 等主流开源模型
  • GPU 加速:自动检测 NVIDIA / Apple Silicon GPU,推理速度拉满
  • API 兼容:内置 REST API,兼容 OpenAI API 格式,方便集成到应用中

3. 适用场景

  • 本地开发:不依赖云端 API,本地开发调试 AI 应用
  • 学习研究:快速体验不同模型的能力差异
  • 隐私场景:数据不出机器,适合敏感业务
  • 模型评测:本地部署多个模型,横向对比效果

4. 小结

Ollama 是本地大模型的运行引擎,一条命令就能跑起开源 LLM。

知识点 说明
定位 "大模型的 Docker",本地运行开源 LLM
核心优势 开箱即用、本地隐私、GPU 加速、兼容 OpenAI API
支持模型 Qwen、DeepSeek、Llama、Gemma、Mistral 等主流开源模型
适用场景 本地开发、学习研究、隐私场景、模型评测

接下来安装并启动 Ollama,在 Mac 上跑起来。