Ollama 大模型本地部署指南
概述
Ollama 是一款用于在本地环境中部署和管理大型语言模型的实用工具。它能够帮助用户在不依赖云端服务的情况下，便捷地下载、运行和操控各类 LLM。
第一步：安装 Ollama
1.1 快速安装包
访问 2265 安卓网等国内镜像站下载官方安装包，可提升下载速度。
安装程序默认将软件部署至 C 盘。如需更改安装位置，可先在目标盘（如 D 盘）创建文件夹（例如 D:\ollama），随后按住 Win + R 打开运行窗口，输入 cmd 进入命令行。在命令行中执行以下命令进行自定义安装：
.\\OllamaSetup.exe /DIR="D:\\ollama"1.2 官方渠道下载
直接访问 Ollama 官方网站，根据操作系统（macOS、Linux、Windows）选择对应版本。
1.3 使用 Python 包管理器安装
也可以通过 pip 命令安装 Ollama 的 Python 库：
pip install ollama若网络状况不佳，建议配置国内镜像源以加速下载：
pip install ollama -i https://pypi.tuna.tsinghua.edu.cn/simple第二步：启动 Ollama 服务
安装完成后，通过终端命令启动服务：
# 默认模式，服务将在后台自动运行
ollama serve
# 保持前台运行，关闭终端后服务随之停止
ollama serve --detach=false第三步：运行大语言模型
# 执行命令后，若本地无此模型，将自动下载并运行
ollama run llama3 # 示例：拉取并运行 Meta 的 Llama3 模型
# 若已下载，直接运行指定模型
ollama run <模型名称>验证与配置
检查安装版本
ollama --version修改模型存储路径（默认位于 C 盘）
1. 创建目标文件夹
mkdir D:\ollama\models2. 设置系统环境变量
按下 Win + R，输入 sysdm.cpl 并回车。在"系统属性"窗口中选择"高级"选项卡，点击"环境变量"。在"系统变量"区域点击"新建"，配置以下变量：
- 变量名:
OLLAMA_MODELS - 变量值:
D:\ollama\models（你创建的目标路径）
3. 重启服务使配置生效
net stop ollama
net start ollama4. 确认服务是否正在运行
tasklist | findstr ollama下载具体模型（以 Qwen 2.5 Coder 7B 为例）
1. 搜索模型
访问 Ollama 模型库，搜索需要的模型。
2. 复制并执行命令
在模型详情页找到对应的运行指令。打开任意终端窗口，将复制的命令粘贴后执行，即可开始下载。
删除模型
删除单个模型
1. 查看已下载模型列表
ollama list2. 执行删除操作
ollama rm <模型名称>
# 例如：ollama rm llama3成功删除后会显示 successfully removed '<模型名称>'。
批量删除所有模型
方法一：一键删除
ollama list | awk '{print $1}' | xargs -L1 ollama rm方法二：逐一确认后删除
for model in $(ollama list | awk 'NR>1 {print $1}'); do
read -p "删除 $model 吗？(y/n) " choice
[[ $choice == [yY] ]] && ollama rm $model
done清理物理存储文件（彻底删除）
1. 定位模型存储目录
默认路径为：
- Windows:
%USERPROFILE%\.ollama\models - macOS / Linux:
~/.ollama/models
2. 手动删除残留文件
# macOS/Linux: 谨慎操作，避免删除正在使用的模型
rm -rf ~/.ollama/models/blobs/*
# Windows
del /q "%USERPROFILE%\.ollama\models\blobs\*"