# 本地大模型的安装与部署

## 1、版本选择

本地部署就是自己部署DeepSeek-R1模型，使用本地的算力。

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者保密单位根本就不能上网的。

**使用满血版：**DeepSeek R1 671B 全量模型的文件体积高达 720GB，对于绝大部分人而言，本地资源有限，很难达到这个配置。

![微信图片_20250207102910](images/微信图片_20250207102910-1739761241988.jpg)

**使用蒸馏版：**

![image-20250206165940036](images/image-20250206165940036-1739761241989.png)

蒸馏版本：https://huggingface.co/deepseek-ai

> 开源2+6个模型。R1预览版和正式版的参数高达660B，非一般公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，并开源给社区。最小的为1.5B参数，10G显存可跑。

> 如果你要在个人电脑上部署，一般选择其他架构的蒸馏模型，本质是微调后的Llama或Qwen模型，基本32B以下，并不能完全发挥出DeepSeek R1的实力。





## 2、部署过程

比较流行的是使用ollama：https://ollama.com/

> Ollama（https://ollama.com/library，可以理解为替换前面的服务器端，在本地作为服务端，可以是别的平台）+ChatBox、Cherry Studio等（https://chatboxai.app/zh，前端，可以是别的工具如Chrome插件Page Assist或Anything LLM）

### 步骤1：下载Ollama

![image-20250206193812804](images/image-20250206193812804-1739761241989.png)

![image-20250209215659709](images/image-20250209215659709.png)

### 步骤2：安装Ollama

> 这里不建议直接双击安装，因为会默认安装在C盘，包括后续的大模型都会安装到C盘。

推荐：在下载的Ollama文件所在路径，输入cmd

![image-20250227213100127](images/image-20250227213100127.png)

然后执行如下指令，安装到指令目录下：

![image-20250227213212851](images/image-20250227213212851.png)

![image-20250209215928253](images/image-20250209215928253.png)

安装过程：

![image-20250209220004774](images/image-20250209220004774.png)

安装完后，验证是否安装成功：

”win+r“输入cmd

![image-20250206194044430](images/image-20250206194044430-1739761241989.png)

命令行输入如下：

```
ollama -v
```

![image-20250209220136729](images/image-20250209220136729.png)

能显示ollama版本，说明安装成功。

```
netstat -ano | findstr 11434
```

![image-20250227213455972](images/image-20250227213455972.png)

上述指令能够显示当前Ollama是否开启。

### 步骤3：选择r1模型

![image-20250206183036820](images/image-20250206183036820-1739761241989.png)

![image-20250206183106671](images/image-20250206183106671-1739761241989.png)

### 步骤4：选择版本

![image-20250206184424695](images/image-20250206184424695-1739761241989.png)

b代表10亿参数量，7b就是70亿参数量。这里的671B是HuggingFace经过4-bit 标准量化的，所以大小是404GB。

ollama 支持 CPU 与 GPU 混合推理。将**内存与显存之和**大致视为系统的 **“总内存空间”**。

如果你想运行404GB的671B，建议你的内存+显存能达到500GB以上。

> 除了模型参数占用的内存+显存空间（比如671B的404GB）以外，实际运行时还需额外预留一些内存（显存）空间用于上下文缓存。预留的空间越大，支持的上下文窗口也越大。所以根据你个人电脑的配置，评估你选择部署哪一个版本。如果你想运行404GB的671B，建议你的内存+显存能达到500GB以上。

这里我们以7B为例，大多数的电脑都能够运行起来。

![image-20250206193957536](images/image-20250206193957536-1739761241989.png)

### 步骤5：本地运行DeepSeek模型

在命令行中，输入如下命令：

```
ollama run deepseek-r1:7b
```

![image-20250209220906003](images/image-20250209220906003.png)

首次运行会下载对应模型文件：

![image-20250209221011557](images/image-20250209221011557.png)

![image-20250209221256181](images/image-20250209221256181.png)

> 下载支持断点续传，如果下载中速度变慢，可以鼠标点击命令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到上一条命令，即”ollama run deepseek-r1:7b“，按下回车会重新链接，按照之前进度接着下载。

> 如果不想下载，也可以直接使用我们提供的下载好的模型文件，按照后续小节 “修改models文件夹路径” 的步骤配置好环境变量和对应models文件夹的路径即可。

下载完成后，自动进入模型，直接在命令行输入问题，即可得到回复。

比如：打个招呼！

![image-20250209221847478](images/image-20250209221847478.png)

比如：你好，鲨鱼为什么会溺水呢？

![image-20250209221455992](images/image-20250209221455992.png)

获取帮助：

```
/?
```

![image-20250209221553039](images/image-20250209221553039.png)

或者

![image-20250217110208418](images/image-20250217110208418.png)

退出对话：

```
/bye
```

![image-20250209221609371](images/image-20250209221609371.png)

### 步骤6：查看已有模型

查询已有模型：

```
ollama list
```

![image-20250209221717706](images/image-20250209221717706.png)

后续要运行模型，仍然使用之前的命令：

![image-20250209221812441](images/image-20250209221812441.png)

## 3、使用客户端工具

> 本地部署好模型之后，在命令行操作还是不太方便，我们继续使用一些客户端工具来使用。

**Cherry Studio的下载：**

Cherry Studio的下载地址：https://cherry-ai.com/

![image-20250206181403088](images/image-20250206181403088-1739761241989.png)



![image-20250206181433602](images/image-20250206181433602-1739761241989.png)

关于Cherry Studio更多功能的使用文档：https://zhuanlan.zhihu.com/p/10585626732

**Cherry Studio的安装：**傻瓜式安装，这里省略。

**以Cherry Studio为例访问7b的蒸馏模型：**

![image-20250206221641679](images/image-20250206221641679-1739761241989.png)

![image-20250206230224080](images/image-20250206230224080-1739761241989.png)

如果这里列表没有r1模型，则是之前没有安装好。

![image-20250206230333296](images/image-20250206230333296-1739761241989.png)

选择模型

![image-20250206230421597](images/image-20250206230421597-1739761241989.png)

**注意：**使用时要确保ollama客户端已启动

![image-20250206230531270](images/image-20250206230531270-1739761241989.png)

![image-20250206231058477](images/image-20250206231058477-1739761241989.png)



## 4、修改models文件夹路径（可选）

模型默认会下载到：`C:\Users\你的用户名\.ollama` 目录下的models文件夹

如果想修改模型的存放位置，做如下配置：

**步骤1：**拷贝models文件夹到你指定的目录，比如我剪切到`E:\ollama`下

![image-20250206225729572](images/image-20250206225729572-1739761241989.png)

**步骤2：**添加环境变量

右键“我的电脑”，选择“属性”，按如下方式配置：

![image-20250206204925604](images/image-20250206204925604-1739761241989.png)

![image-20250206213155992](images/image-20250206213155992-1739761241989.png)

**步骤3：**重启Ollama客户端生效

**注意**：修改完之后，需要重启Ollama客户端，右键图标，选择退出，重新运行Ollama

![image-20250206230714785](images/image-20250206230714785-1739761241989.png)

验证是否生效：重新运行Ollama之后，重新打开命令行，输入命令`ollama list`查看：

![image-20250206225941910](images/image-20250206225941910-1739761241989.png)

如果list显示为空，则表示操作有问题，确认以上步骤。