开源一个小工具，快速部署一个openai接口兼容的文本嵌入模型服务

一、简介

• 快速本地启动一个openai接口兼容的文本嵌入模型服务，基本支持所有huggingface能找到的嵌入模型，工具地址参考：github.com/luler/hello_embedding
• 本地部署嵌入模型有很多优势，可以降低建库成本，使用不同的嵌入模型，没有速率限制，大大提高建库灵活性和效率

二、快速部署

• 提前准备好docker、docker-compose软件环境

• 新建docker-compose.yml启动文件，配置内容如下：

version: '3'

services:
  app:
    image: dreamplay/hello_embedding:bge-m3
    ports:
      - 8000:8000
    restart: always

• 一键启动

  docker-compose up -d

• 测试使用，接口与openai的嵌入模型接口兼容，参考：platform.openai.com/docs/guides/em...

• 更换嵌入模型
  新建Dockerfile如下，修改里面的 EMBEDDING_PATH ，然后重新构建即可

搭配Cherry Studio搭建知识库，参考：Cherry Studio利用本地部署的文本嵌入模型，快速搭建私人AI知识库系统

持续编程进行中，我的应用：cas.luler.top/

本作品采用《CC 协议》，转载必须注明作者和本文链接