deepseek linux本地化部署,小白也能搞定💪
宝子们,今天来给大家分享一下DeepSeek在Linux系统下的本地化部署教程,跟着我一步步来,轻松搞定!
一、环境准备
硬件需求:
最低配置:CPU(支持AVX2指令集)+ 16GB内存 + 30GB存储。
推荐配置:NVIDIA GPU(RTX 3090或更高)+ 32GB内存 + 50GB存储。
软件依赖:
操作系统:Linux(推荐Ubuntu 20.04+)。
Python:3.8+。
CUDA:11.7+(需与PyTorch版本匹配)。
Docker:如果使用Open Web UI,需要安装Docker。
二、安装Ollama
Ollama是一个开源工具,用于在本地轻松运行和部署大型语言模型,以下是安装Ollama的步骤:
在终端运行以下命令安装Ollama:
bash复制
curl -sSfL https://ollama.com/download.sh | sh
安装完成后,通过以下命令验证Ollama是否安装成功:
bash复制
ollama --version
如果输出版本号,则说明安装成功。
三、下载并部署DeepSeek模型
选择模型版本:
- 根据硬件配置选择合适的模型版本,例如入门级的1.5B版本,适合初步测试;中端的7B或8B版本,适合大多数消费级GPU;高性能的14B、32B或70B版本,适合高端GPU。
下载模型:
打开终端,输入以下命令下载并运行DeepSeek模型。例如,下载7B版本的命令为:
bash复制
ollama run deepseek-r1:7b
如果需要下载其他版本,可以参考以下命令:
bash复制
ollama run deepseek-r1:8b # 8B版本 ollama run deepseek-r1:14b # 14B版本 ollama run deepseek-r1:32b # 32B版本
启动Ollama服务:
在终端运行以下命令启动Ollama服务:
bash复制
ollama serve
服务启动后,可以通过访问
http://localhost:11434
来与模型进行交互。
四、使用Open Web UI(可选)
为了更直观地与DeepSeek模型进行交互,可以使用Open Web UI,以下是安装和使用步骤:
安装Docker:确保你的机器上已安装Docker。
运行Open Web UI:
在终端运行以下命令安装并启动Open Web UI:
bash复制
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装完成后,访问
http://localhost:3000
,选择deepseek-r1:latest
模型即可开始使用。
五、其他工具安装(可选)
安装Chatbox AI:
Chatbox AI是一个基于对话的AI平台,能够实现自然语言交互。访问Chatbox AI的官方网站,下载最新版本的安装包。
对于Linux系统,下载完成后使用以下命令运行:
bash复制
sudo ./Chatbox-1.9.5-x86_64.AppImage
打开配置文件
config.json
或者直接打开UI,根据需要修改参数,例如连接Ollama的地址等。进入软件后点击设置,然后选择ollama的api,加载之前下载的模型即可。
宝子们,按照这个教程一步步来,DeepSeek本地化部署就搞定啦,快去试试吧!
本作品采用《CC 协议》,转载必须注明作者和本文链接