付费求一个 go 项目程序优化方案,给系统提高并发

这是一个开源的 chatgpt 接口转发系统,使用 Go 程序编写。

github.com/songquanpeng/one-api

在实际使用过程中,高并发已经达到极限,但是系统的资源利用率非常低。我需要一个工程师协助我,找出并发限制的瓶颈,加以优化。

背景参考:
centos 4h8g oneapi
实测并发量 2000 rpm 附近

提升系统性能可以有效增加并发量,另一个系统 6h8g 并发量可以达到 5000 rpm 。
但是高并发的时候,cpu 资源利用率并不高,不清楚限制的因素到底是什么。

-
大家的时间都很宝贵,我会为此付费。评论区留下你的联系方式

也欢迎各位佬在评论区提提建议!!

讨论数量: 7

先看下是不是带宽的问题

4个月前 评论
Eaesop (楼主) 4个月前

1.看带宽 2.看全连接、半连接队列大小 3.看系统支持的最大句柄数 4.如果是supervisor启动的,把它该死的连接限制给关闭

4个月前 评论
  • 1、统计下当前接口响应时间,查一下top接口。这个有日志应该比较好查询。
  • 2、异步化部分io操作
  • 3、日志记录异步操作(被2包含)
4个月前 评论

上prometheus监控,监控主机Exporter,同时监控Goalng性能,再结合pprof分析内存开销、goroutine占用。
如果内存占用不断攀升的情况,大概率是因为协程没有正确释放导致的内存溢出,你可以往这方面去排除

4个月前 评论

加机器就完事了

4个月前 评论

还有对接的接口响应的原因

4个月前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!