deepseek linux本地化部署,小白也能搞定💪

宝子们,今天来给大家分享一下 DeepSeek 在 Linux 系统下的本地化部署教程,跟着我一步步来,轻松搞定!

一、环境准备#

  • 硬件需求

    • 最低配置:CPU(支持 AVX2 指令集)+ 16GB 内存 + 30GB 存储。

    • 推荐配置:NVIDIA GPU(RTX 3090 或更高)+ 32GB 内存 + 50GB 存储。

  • 软件依赖

    • 操作系统:Linux(推荐 Ubuntu 20.04+)。

    • Python:3.8+。

    • CUDA:11.7+(需与 PyTorch 版本匹配)。

    • Docker:如果使用 Open Web UI,需要安装 Docker。

二、安装 Ollama#

Ollama 是一个开源工具,用于在本地轻松运行和部署大型语言模型,以下是安装 Ollama 的步骤:

  1. 在终端运行以下命令安装 Ollama:

    bash 复制

    curl -sSfL https://ollama.com/download.sh | sh
  2. 安装完成后,通过以下命令验证 Ollama 是否安装成功:

    bash 复制

    ollama --version

    如果输出版本号,则说明安装成功。

三、下载并部署 DeepSeek 模型#

  1. 选择模型版本

    • 根据硬件配置选择合适的模型版本,例如入门级的 1.5B 版本,适合初步测试;中端的 7B 或 8B 版本,适合大多数消费级 GPU;高性能的 14B、32B 或 70B 版本,适合高端 GPU。
  2. 下载模型

    • 打开终端,输入以下命令下载并运行 DeepSeek 模型。例如,下载 7B 版本的命令为:

      bash 复制

      ollama run deepseek-r1:7b
    • 如果需要下载其他版本,可以参考以下命令:

      bash 复制

      ollama run deepseek-r1:8b  # 8B版本
      ollama run deepseek-r1:14b # 14B版本
      ollama run deepseek-r1:32b # 32B版本
  3. 启动 Ollama 服务

    • 在终端运行以下命令启动 Ollama 服务:

      bash 复制

      ollama serve
    • 服务启动后,可以通过访问 http://localhost:11434 来与模型进行交互。

四、使用 Open Web UI(可选)#

为了更直观地与 DeepSeek 模型进行交互,可以使用 Open Web UI,以下是安装和使用步骤:

  1. 安装 Docker:确保你的机器上已安装 Docker。

  2. 运行 Open Web UI

    • 在终端运行以下命令安装并启动 Open Web UI:

      bash 复制

      docker run -d -p 3000:8080
        --add-host=host.docker.internal:host-gateway
        -v open-webui:/app/backend/data
        --name open-webui
        --restart always
        ghcr.io/open-webui/open-webui:main
    • 安装完成后,访问 http://localhost:3000,选择 deepseek-r1:latest 模型即可开始使用。

五、其他工具安装(可选)#

  1. 安装 Chatbox AI

    • Chatbox AI 是一个基于对话的 AI 平台,能够实现自然语言交互。访问 Chatbox AI 的官方网站,下载最新版本的安装包。

    • 对于 Linux 系统,下载完成后使用以下命令运行:

      bash 复制

      sudo ./Chatbox-1.9.5-x86_64.AppImage
    • 打开配置文件 config.json 或者直接打开 UI,根据需要修改参数,例如连接 Ollama 的地址等。进入软件后点击设置,然后选择 ollama 的 api,加载之前下载的模型即可。

宝子们,按照这个教程一步步来,DeepSeek 本地化部署就搞定啦,快去试试吧!

本作品采用《CC 协议》,转载必须注明作者和本文链接