ollama-DeepSeek模型离线安装
Ollama 是一款支持本地运行 AI 模型的工具,适用于 macOS、Windows、Linux 以及 Docker 容器。其安装、使用及模型下载都非常简单。
官方网站:Ollama
如果下载过慢,可以使用整合包(包含 Ollama 主程序和离线模型文件):
硬件要求
Ollama 对硬件的基础要求较低,但不同规模的模型对资源的需求不同。基本建议如下:
模型参数 | 模型大小 | 建议 CPU | 建议内存 | 建议显存 | 特点 |
---|---|---|---|---|---|
1.5B | 1.1GB | 4 核 | 4~8GB | 4GB | 轻量级,普通文本处理 |
7B | 4.7GB | 8 核 | 16GB | 14GB | 硬件要求适中,性能较好 |
8B | 4.9GB | 8 核 | 16GB | 14GB | 略强于 7B,精度更高 |
14B | 9GB | 12 核 | 32GB | 26GB | 适合复杂任务,如数学推理、代码生成 |
32B | 20GB | 16 核 | 64GB | 48GB | 高精度任务 |
70B | 43GB | 32 核 | 128GB | 140GB | 大规模计算和高复杂度任务 |
671B | 404GB | 64 核 | 512GB | 1342GB | 超大规模,性能卓越 |
修改 Ollama 默认模型存储位置
Ollama 默认存储模型的路径如下:
- Windows:
C:\Users\<username>\.ollama\models
如果磁盘空间不足,可以修改环境变量 OLLAMA_MODELS
指定新的存储路径。例如:
1 | # Windows 下执行命令(CMD) |
将云盘下载的模型解压至该目录后,运行 ollama list
即可查看已安装的模型。
Ollama 常用命令
Ollama 提供了丰富的 CLI(命令行)工具,便于管理和运行模型。
基本命令
1 | ollama --help # 查看帮助信息 |
模型管理
1 | ollama pull <model> # 下载指定模型 |
开启局域网访问 Ollama 服务
默认情况下,Ollama API 仅允许本机访问。如果需要局域网其他设备访问,需要修改 OLLAMA_HOST
和 OLLAMA_ORIGINS
环境变量。
1 | # Windows(CMD)设置 |
参考链接
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 小陈点滴记忆!
评论