付费求一个 go 项目程序优化方案,给系统提高并发
这是一个开源的 chatgpt 接口转发系统,使用 Go 程序编写。
github.com/songquanpeng/one-api
在实际使用过程中,高并发已经达到极限,但是系统的资源利用率非常低。我需要一个工程师协助我,找出并发限制的瓶颈,加以优化。
背景参考:
centos 4h8g oneapi
实测并发量 2000 rpm 附近
提升系统性能可以有效增加并发量,另一个系统 6h8g 并发量可以达到 5000 rpm 。
但是高并发的时候,cpu 资源利用率并不高,不清楚限制的因素到底是什么。
-
大家的时间都很宝贵,我会为此付费。评论区留下你的联系方式
也欢迎各位佬在评论区提提建议!!
先看下是不是带宽的问题
1.看带宽 2.看全连接、半连接队列大小 3.看系统支持的最大句柄数 4.如果是supervisor启动的,把它该死的连接限制给关闭
上prometheus监控,监控主机Exporter,同时监控Goalng性能,再结合pprof分析内存开销、goroutine占用。
如果内存占用不断攀升的情况,大概率是因为协程没有正确释放导致的内存溢出,你可以往这方面去排除
加机器就完事了
还有对接的接口响应的原因