开源一个小工具,快速部署一个openai接口兼容的文本嵌入模型服务

一、简介

  • 快速本地启动一个openai接口兼容的文本嵌入模型服务,基本支持所有huggingface能找到的嵌入模型,工具地址参考:github.com/luler/hello_embedding
  • 本地部署嵌入模型有很多优势,可以降低建库成本,使用不同的嵌入模型,没有速率限制,大大提高建库灵活性和效率

二、快速部署

  • 提前准备好docker、docker-compose软件环境

  • 新建docker-compose.yml启动文件,配置内容如下:

version: '3'

services:
  app:
    image: dreamplay/hello_embedding:bge-m3
    ports:
      - 8000:8000
    restart: always

开源一个小工具,快速部署一个openai接口兼容的文本嵌入模型服务

  • 更换嵌入模型
    新建Dockerfile如下,修改里面的 EMBEDDING_PATH ,然后重新构建即可

开源一个小工具,快速部署一个openai接口兼容的文本嵌入模型服务


搭配Cherry Studio搭建知识库,参考:Cherry Studio利用本地部署的文本嵌入模型,快速搭建私人AI知识库系统

本作品采用《CC 协议》,转载必须注明作者和本文链接
我只想看看蓝天
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!