Go 实现的模型推理和 API 部署框架

推销一下 :)

github.com/jack139/go-infer

深度学习模型在部署时通常以云方式部署,通过 API 对外体提供推理服务。这个框架提供了部署 API 时的基本架构组件,实现了几个目标:

  • API 处理模块与模型推理模块解耦,降低高并发造成的网络和计算阻塞风险
  • API 处理模块与模型推理模块可进行分布式部署,均可实现横向扩展
  • 使用 Go 语言实现,提高执行效率,简化部署和运维
  • 业务逻辑使用 callback 方式调用,隐藏通用逻辑,开发时只需关注业务逻辑

其他功能:

  • 服务端配置使用 Yaml ,分布式部署时可进行针对性配置
  • API 验签支持 SHA256 和 SM2 算法
  • 模型示例
    • BERT 模型推理示例
    • CNN 模型推理示例
    • Tensorflow 模型权重转换示例
    • Keras 模型权重转换示例
本作品采用《CC 协议》,转载必须注明作者和本文链接
We’re paratroopers, Lieutenant. We’re supposed to be surrounded.
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!