本地电脑搭建deepseek

1、安装ollama

1、本地部署首先要安装ollama,ollama 是一个用于在本地运行大语言模型的工具,它能让你在自己的电脑上轻松部署和使用各类模型。你可以把它理解为,一个装AI的盒子,把AI装在盒子里,方便管理。

访问ollama下载地址: https://ollama.com/download

根据自己的电脑类型,选择不同版本。

2、接下来以Windows为例,下载好安装后,双击安装。(傻瓜式安装即可)

安装完成后,ollama会在后台运行,任务栏会出现一个类似羊驼的图标。

2、选择要安装的模型

1、访问https://ollama.com/search,选择要安装的模型

2、点击选择deepseek-r1,进入模型参数界面

这里的数字越大,参数越多,性能越强,所需要的配置也就越高,1.5b代表模型具备15亿参数。

例如,若要运行14b参数模型,需要大约11.5G显存。也就是你的电脑显卡最好要达到16G。

若个人学习用途,一般建议安装最小的1.5b版本即可。大多数的个人电脑配置都能跑的起来。具体大家可以根据自己的电脑性能选择。

3、以1.5b参数为例,选择1.5b参数后,复制红框中的命令ollama run deepseek-r1:1.5b

详细地址: https://ollama.com/library/deepseek-r1:1.5b

3、安装模型

1、打开命令行,在命令行中输入:ollama run deepseek-r1:1.5b

2、下载成功后,就可以与模型对话啦。

此时大模型安装在你的电脑上,就算断网也可以继续用,再也不用担心数据泄露了。

4、使用模型

安装好模型后,此时我们可以通过命令行的方式,在命令行中发送消息来与DeepSeek 大模型对话。

当你关闭电脑后,下次若再想使用本地模型时,只需要启动了ollama
同时打开命令行界面,输入ollama run deepseek-r1:1.5b 即可。因为你之前已经下载过,这次无需下载,可以直接和模型聊天。

5、为本地模型搭建UI界面

1、使用命令行方式来和模型对话,对于不会编程的小伙伴来说,太难受了。不过没关系,我们有很多方案可以为你的本地模型搭建UI界面,比如Open-WebUIChatbox AI等。

2、这里我们以ChatBox AI为例,访问:https://chatboxai.app/zh


选择对应的版本,下载安装。

3、选择使用自己的 API Key 或者本地模型:

4、选择本地跑的 deepseek-r1:1.5b模型:

Ollama 默认使用 端口11434 提供本地服务。当你在本地运行 Ollama 时,可以通过以下地址访问其 API 服务:
http://localhost:11434
如果你需要更改默认端口,可以通过设置环境变量 OLLAMA_HOST 来指定新的端口。

5、在ChatBox对话框中,输入:”提问问题“,即可调用本地模型,生成答案

![]
至此,简单几步,在你的本地电脑上就安装运行起来了 DeepSeek R1

6、为本地模型投喂数据训练

  1. 选择【所有用户】并点击“下一步”,根据自己的需求继续点击“下一步”即可。
    AnythingLLM 下载地址 https://anythingllm.com/desktop

  2. 下载完成后,打开 AnythingLLM,点击【Get started】。

本地电脑搭建deepseek

  1. 点击箭头,进入下一步。

本地电脑搭建deepseek

本地电脑搭建deepseek

  1. 输入工作区名称,点击箭头继续。

本地电脑搭建deepseek

  1. 点击【设置】,在其中可以设置模型、界面显示语言等选项。

本地电脑搭建deepseek

三、AnythingLLM设置

  1. 在软件设置中的 LLM首选项 界面,选择提供商为 Ollama,在 Ollama Model 中选择前面下载的 DeepSeek-R1 系列模型,点击 Save changes 保存更改。

本地电脑搭建deepseek

  1. 在 Embedder首选项 界面,选择嵌入引擎提供商为 Ollama,在 Ollama Embedding Mode 中选择 nomic-embed-text,然后点击 保存更改。

本地电脑搭建deepseek

  1. 点击 工作区设置,在 聊天设置 界面:

❶ 将 工作区LLM提供商 选择为 Ollama,

❷ 将 工作区聊天模型 选择为 deepseek-r1,

❸ 然后点击 Update workspace agent 更新工作区代理。

本地电脑搭建deepseek

  1. 在 代理配置 界面,将 工作区代理LLM提供商 选择为 Ollama,将 工作区代理模型 选择为 deepseek-r1,点击 Update workspace agent 更新工作区代理。

本地电脑搭建deepseek

四、如何投喂数据(训练AI)
1.在工作区界面,点击【上传】。

本地电脑搭建deepseek

  1. 点击 Upload,选择需要上传的文件(支持 PDF、TXT、Word、Excel、PPT 等常见文档格式)。勾选需要上传的文件。点击 Move to Workspace 将文件移动到工作区
本作品采用《CC 协议》,转载必须注明作者和本文链接
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!