本地部署Deepseek

Deepseek火爆,服务器访问数激增,频繁出现响应慢或系统宕机的情况,让我很是苦恼。

幸好,Deepseek与Chat gpt、Qwen、Llama、Claude等闭源模型不一样!他是开源的!这就意味着我们可以自己在本地部署,部署到本地后,我们就不需要借助网络来访问Deepseek的服务器。

另外,本地部署的关键是推理计算,推理计算和训练计算,是两个完全不同的东西,推理不是必须显卡的,推理实际上负荷也不高,只要你的cpu够强,系统内存够大,完全不需要显卡的参与,671b的完整版也可以在无显卡的机器上跑起来。

本地部署的三个步骤:安装Ollama工具、下载DeepSeek模型、配置可视化的Chatbox界面,用户可以轻松实现本地部署。

下载、本地部署

要在本地运行 DeepSeek,我们需要使用 Ollama——一个开源的本地大模型运行工具。
首先,访问 Ollama官网 下载该工具。官网提供了针对不同操作系统的安装包,用户只需选择适合自己电脑的版本即可。在本例中,我们选择下载适用于 Windows 操作系统的版本。
点击下面图片即可跳转ollama官网:

下载完成后,双击进行安装,默认是安装在C盘,如果想要修改安装位置,需要修改环境变量Path的值。

olloma下载deepseek模型

我的配置为E3V2+RX580,所以选择deepseek的最低版本:deepseek v1 1.5b,这里的’b‘是’Billion,十亿’,指的是模型的参数规模,从1.5B到671B不等,参数越大模型的大小越大,其计算能力越强。
1.5b代表该模型拥有15亿个参数,671B表示该模型拥有6710亿个参数,规模极大,对适合大规模数据处理和高精度任务,同时对硬件的要求也极高。

选择好版本后,如图箭头所示处复制命令。在CMD中执行该命令,即可开始下载模型。

如下图,模型正在下载:

下载完成后,即可开始交互。

图形化交互

命令行界面进行交互可能不太方便,想要提高体验,可下载图形化交互工具。

这里需要注意的是,为了让 Ollama 能够远程链接,这里我们最好看一下 【如何将 Chatbox 连接到远程 Ollama 服务:逐步指南】的教程,根据这个教程操作一下。一般无需配置

Windows只需要配置相应的环境变量即可。配置好环境变量后,需要重启 Ollama 程序以使设置生效。

  1. 进入环境变量配置界面
    • 用户变量修改或创建 OLLAMA_HOST = 0.0.0.0;
    • 用户变量修改或创建 OLLAMA_ORIGINS = *;
    • 保存配置。
  2. 重启ollama

重启 Ollama 程序后,返回到 Chatbox 设置界面,关闭当前的设置窗口,然后重新打开它。在重新打开后,你就能在界面中选择已经部署好的 DeepSeek 模型了。选择模型后,点击保存即可开始使用。

No Comments

Send Comment Edit Comment


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
Previous
Next