开源一个小工具，快速部署一个openai接口兼容的文本嵌入模型服务

一、简介#

• 快速本地启动一个 openai 接口兼容的文本嵌入模型服务，基本支持所有 huggingface 能找到的嵌入模型，工具地址参考：github.com/luler/hello_embedding
• 本地部署嵌入模型有很多优势，可以降低建库成本，使用不同的嵌入模型，没有速率限制，大大提高建库灵活性和效率

二、快速部署#

• 提前准备好 docker、docker-compose 软件环境

• 新建 docker-compose.yml 启动文件，配置内容如下：

version: '3'

services:
  app:
    image: dreamplay/hello_embedding:bge-m3
    ports:
      - 8000:8000
    restart: alwaysCopy

• 一键启动

  docker-compose up -dCopy

• 测试使用，接口与 openai 的嵌入模型接口兼容，参考：platform.openai.com/docs/guides/em...

• 更换嵌入模型
  新建 Dockerfile 如下，修改里面的 EMBEDDING_PATH ，然后重新构建即可

搭配 Cherry Studio 搭建知识库，参考：Cherry Studio 利用本地部署的文本嵌入模型，快速搭建私人 AI 知识库系统

持续编程进行中，我的应用：cas.luler.top/

本作品采用《CC 协议》，转载必须注明作者和本文链接