Deepseek火爆,服务器访问数激增,频繁出现响应慢或系统宕机的情况,让我很是苦恼。
幸好,Deepseek与Chat gpt、Qwen、Llama、Claude等闭源模型不一样!他是开源的!这就意味着我们可以自己在本地部署,部署到本地后,我们就不需要借助网络来访问Deepseek的服务器。
另外,本地部署的关键是推理计算,推理计算和训练计算,是两个完全不同的东西,推理不是必须显卡的,推理实际上负荷也不高,只要你的cpu够强,系统内存够大,完全不需要显卡的参与,671b的完整版也可以在无显卡的机器上跑起来。
本地部署的三个步骤:安装Ollama工具、下载DeepSeek模型、配置可视化的Chatbox界面,用户可以轻松实现本地部署。
下载、本地部署
要在本地运行 DeepSeek,我们需要使用 Ollama——一个开源的本地大模型运行工具。
首先,访问 Ollama官网 下载该工具。官网提供了针对不同操作系统的安装包,用户只需选择适合自己电脑的版本即可。在本例中,我们选择下载适用于 Windows 操作系统的版本。
点击下面图片即可跳转ollama官网:
下载完成后,双击进行安装,默认是安装在C盘,如果想要修改安装位置,需要修改环境变量Path的值。
我的配置为E3V2+RX580,所以选择deepseek的最低版本:deepseek v1 1.5b,这里的’b‘是’Billion,十亿’,指的是模型的参数规模,从1.5B到671B不等,参数越大模型的大小越大,其计算能力越强。
1.5b代表该模型拥有15亿个参数,671B表示该模型拥有6710亿个参数,规模极大,对适合大规模数据处理和高精度任务,同时对硬件的要求也极高。
选择好版本后,如图箭头所示处复制命令。在CMD中执行该命令,即可开始下载模型。
如下图,模型正在下载:
下载完成后,即可开始交互。
图形化交互
命令行界面进行交互可能不太方便,想要提高体验,可下载图形化交互工具。
这里需要注意的是,为了让 Ollama 能够远程链接,这里我们最好看一下 【如何将 Chatbox 连接到远程 Ollama 服务:逐步指南】的教程,根据这个教程操作一下。一般无需配置;
Windows只需要配置相应的环境变量即可。配置好环境变量后,需要重启 Ollama 程序以使设置生效。
- 进入环境变量配置界面
- 用户变量修改或创建 OLLAMA_HOST = 0.0.0.0;
- 用户变量修改或创建 OLLAMA_ORIGINS = *;
- 保存配置。
- 重启ollama
重启 Ollama 程序后,返回到 Chatbox 设置界面,关闭当前的设置窗口,然后重新打开它。在重新打开后,你就能在界面中选择已经部署好的 DeepSeek 模型了。选择模型后,点击保存即可开始使用。