前言:放年假了,之前ai大模型→阿里的千问和字节的豆包用得多些,最近DeepSeek很火,尝试本地部署再长时间用一下。
设备:win11电脑,配置如下图所示:
一、DeepSeek-R1安装
1.下载Ollama
(Ollama:简化大型语言模型本地部署的工具,支持MacOS、Windows、Linux)
下载完安装包直接本地安装
2.下载DeepSeek-R1
同时也在ollama官网中下载(v3或者r1都行):
注意这边模型版本代表大小不同,主要根据自身的电脑配置来决定:
通俗来说数字越大,参数数量就多。这里我根据自身电脑配置,例如我的:4070s 显存是12GB,选择了8b,其实14b也行:
这是实际运行8b消耗显存,根据自己的显卡显存参考一下:
电脑打开终端, 将代码复制,下载模型:
安装成功:
3.对话
可以终端中直接输入:
二、安装WebUI
由于终端中输入命令不直观,操作不便利,可以下载网页ui工具:
(Open WebUI :一款高度可扩展、功能强大且用户友好的自托管Web用户界面)
1.安装Open-WebUI
终端输入(电脑中需要安装过python,教程可参考网上,这里就不赘述了,建议安装3.12以下版本):
pip install open-webui
注意:如果出现这样情况,是pip版本低了,升级一下
python -m pip install --upgrade pip
2.打开Open-WebUI
安装完成后,输入:
open-webui serve
安装成功,浏览器打开http://localhost:8080/
:
建立管理员账号后,就能愉快的使用了: