Ollama 是一款支持本地运行 AI 模型的工具,适用于 macOS、Windows、Linux 以及 Docker 容器。其安装、使用及模型下载都非常简单。

官方网站:Ollama

如果下载过慢,可以使用整合包(包含 Ollama 主程序和离线模型文件):


硬件要求

Ollama 对硬件的基础要求较低,但不同规模的模型对资源的需求不同。基本建议如下:

模型参数 模型大小 建议 CPU 建议内存 建议显存 特点
1.5B 1.1GB 4 核 4~8GB 4GB 轻量级,普通文本处理
7B 4.7GB 8 核 16GB 14GB 硬件要求适中,性能较好
8B 4.9GB 8 核 16GB 14GB 略强于 7B,精度更高
14B 9GB 12 核 32GB 26GB 适合复杂任务,如数学推理、代码生成
32B 20GB 16 核 64GB 48GB 高精度任务
70B 43GB 32 核 128GB 140GB 大规模计算和高复杂度任务
671B 404GB 64 核 512GB 1342GB 超大规模,性能卓越

修改 Ollama 默认模型存储位置

Ollama 默认存储模型的路径如下:

  • WindowsC:\Users\<username>\.ollama\models

如果磁盘空间不足,可以修改环境变量 OLLAMA_MODELS 指定新的存储路径。例如:

1
2
# Windows 下执行命令(CMD)
setx OLLAMA_MODELS D:\data\ollama\models

将云盘下载的模型解压至该目录后,运行 ollama list 即可查看已安装的模型。


Ollama 常用命令

Ollama 提供了丰富的 CLI(命令行)工具,便于管理和运行模型。

基本命令

1
2
3
4
5
6
7
8
ollama --help            # 查看帮助信息
ollama serve # 启动 Ollama 服务
ollama list # 列出所有已安装模型
ollama ps # 列出所有正在运行的模型
ollama show <model> # 查看模型详细信息
ollama run <model> # 运行模型(若不存在则自动下载)
ollama stop <model> # 停止运行的模型
ollama rm <model> # 删除指定模型

模型管理

1
2
3
4
ollama pull <model>      # 下载指定模型
ollama push <model> # 推送模型到远程仓库
ollama cp <old> <new> # 复制模型
ollama create <model> -f Modelfile # 从 Modelfile 创建新模型

开启局域网访问 Ollama 服务

默认情况下,Ollama API 仅允许本机访问。如果需要局域网其他设备访问,需要修改 OLLAMA_HOSTOLLAMA_ORIGINS 环境变量。

1
2
3
# Windows(CMD)设置
setx OLLAMA_HOST 0.0.0.0:11434
setx OLLAMA_ORIGINS *

参考链接