Go 实现的模型推理和 API 部署框架
推销一下 :)
深度学习模型在部署时通常以云方式部署,通过 API 对外体提供推理服务。这个框架提供了部署 API 时的基本架构组件,实现了几个目标:
- API 处理模块与模型推理模块解耦,降低高并发造成的网络和计算阻塞风险
- API 处理模块与模型推理模块可进行分布式部署,均可实现横向扩展
- 使用 Go 语言实现,提高执行效率,简化部署和运维
- 业务逻辑使用 callback 方式调用,隐藏通用逻辑,开发时只需关注业务逻辑
其他功能:
- 服务端配置使用 Yaml ,分布式部署时可进行针对性配置
- API 验签支持 SHA256 和 SM2 算法
- 模型示例
- BERT 模型推理示例
- CNN 模型推理示例
- Tensorflow 模型权重转换示例
- Keras 模型权重转换示例
本作品采用《CC 协议》,转载必须注明作者和本文链接
推荐文章: