开源一个小工具,快速部署一个openai接口兼容的文本嵌入模型服务
一、简介
- 快速本地启动一个openai接口兼容的文本嵌入模型服务,基本支持所有huggingface能找到的嵌入模型,工具地址参考:github.com/luler/hello_embedding
- 本地部署嵌入模型有很多优势,可以降低建库成本,使用不同的嵌入模型,没有速率限制,大大提高建库灵活性和效率
二、快速部署
提前准备好docker、docker-compose软件环境
新建docker-compose.yml启动文件,配置内容如下:
version: '3'
services:
app:
image: dreamplay/hello_embedding:bge-m3
ports:
- 8000:8000
restart: always
一键启动
docker-compose up -d
测试使用,接口与openai的嵌入模型接口兼容,参考:platform.openai.com/docs/guides/em...
- 更换嵌入模型
新建Dockerfile如下,修改里面的 EMBEDDING_PATH ,然后重新构建即可
搭配Cherry Studio搭建知识库,参考:Cherry Studio利用本地部署的文本嵌入模型,快速搭建私人AI知识库系统
本作品采用《CC 协议》,转载必须注明作者和本文链接
推荐文章: