Laravel
话题列表 社区 Wiki 优质外文 招聘求职 Laravel 实战教程 社区文档
登录
注册

Laravel的某个接口用gin改写，效率提升这么多的嘛？

分享 / 1723 / 43 / 创建于 3个月前 / 更新于 3个月前

公司的服务器配置：标准型S5 - 8核 16G

整个后端除了socket用的nodejs，其他部份都是laravel。

laravel 版本是6，php版本是7.4。

有个接口特别繁忙，100个请求里，九十几个都是它的。CPU使用率超高，每天会有两个高峰时刻：8AM-9AM和17PM-18PM，CPU飙到九十多。

那个接口是设备上传监测信息的接口，几千台设备。和行政讨论了一下要不要再升级下服务器配置，希望是能不得已再去升配，就想着那个接口单独用GO改写一下。

我内心想着，能下来个30%就不错了，甚至都没想过能下来一半。
昨天下午写完上线，用nginx把那个接口通过proxy_pass单独转发到GO程序的监听端口上，结果CPU使用率直接降到十几。。。我直接惊呆了。以前都觉得所谓的运行效率最多也就高那么些，各个语言其实大差不差的。没想到第一次直接发现，差距这么明显。

Laravel的某个接口用gin改写，效率提升这么多？

今天早上九点截的图，按往常这个时候CPU又要到高峰期了，然而并没有明显的上升。

go这边，第一次写，怎么简单快捷怎么来。用的是gin框架，标准库的sql查询函数，没有用第三方ORM。然后再配了个redis，这个接口的数据需要和其他功能共用的都放到redis里，laravel那边可以通过redis拿数据去处理原来要做的其他业务。

志玲爸爸
13 声望
暂无个人描述~
《L04 微信小程序从零到发布》
《L04 微信小程序从零到发布》
从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。
《L03 构架 API 服务器》
《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用 和 API 开发相关的进阶知识。
讨论数量: 43

高认可度评论：

随波逐流
课程读者 165 声望 / 南波万 @ 峨眉山类人猿洞

领 php 的工资， 干 go 的活 :joy:

3个月前 评论
9
排序：
时间 投票
随波逐流
课程读者 165 声望 / 南波万 @ 峨眉山类人猿洞

领 php 的工资， 干 go 的活 :joy:

3个月前 评论
9
silie
31 声望

用laravel就要做好牺牲性能的准备，但你把业务放到其他语言上，后来的人要怎么维护？

3个月前 评论
小李世界 3个月前
@xbvan 还要会点前端
xbvan 3个月前
招聘要求：熟悉php/go语言
silie （作者） 3个月前
@xbvan 现在确实是这样 :joy: ,主要是如果改个字段什么的，后来人维护起来比维护屎山还难受
随波逐流 3个月前
@小李世界 现在的要求不是全栈，是全干
志玲爸爸 （楼主） 3个月前
耸肩，和行政沟通过了，优先省服务器的钱
ononl
156 声望

使用laravel CPU肯定高。并发上去CPU先干满。

3个月前 评论
deatil
见习助教 680 声望

单独接口换到go后不能和有业务的php接口比。要比，你该单独的把这个接口写到一个laravel项目里，这个laravel项目也只有这个接口，然后用nginx代理过去，最后看下情况。
不过，为啥想到的不是先把接口用单独的laravel或者一个纯的php写，而是想到用go写。
单独接口可以用slim试下

3个月前 评论
志玲爸爸 （楼主） 3个月前
因为，这个论坛里第二活跃的版块就是GO？潜意识就想到用GO写了
狒狒达人 3个月前
@志玲爸爸 你试试加上 octane ， 应该就能降不少
志玲爸爸 （楼主） 3个月前
@狒狒达人 版本太低了，用不了octane
putyy
136 声望

如果只用laravel 可以接口先扔redis队列 再异步写入mysql

3个月前 评论
保安
Laravel 9.x 译者 378 声望 / 保密 @ 保密

用webman,hyperf一樣的

3个月前 评论
mengmeng_phper
课程读者 14 声望

你go用webman可能也是这个效果

3个月前 评论
xiusin
26 声望

laravel 文件加载是个问题， go能省去这部分， 除去这个优势基本可以忽略语言问题，可能是FPM的分发性能太烂

3个月前 评论
她来听我的演唱会
Laravel 9.x 译者 544 声望

毕竟在加载这块，laravel就比不上gin。还有包管理机制的问题，gin一个项目下来，不包含静态资源文件，能有1、2MB都算大的了，它所有用到的包都放在了工作区，而不是在项目里。laravel一个裸项目都40，50M。

性能方面毕竟一个是脚本语言，一个是编译型的强语言。还是FPM存在的问题，无解。

3个月前 评论
1
33qis
17 声望

也许用 Octane 就解决了呢？

启动laravel还是挺费时的

另外 配置，路由有没有缓存？

3个月前 评论
志玲爸爸 （楼主） 3个月前
有开opcache，不过路由没缓存
suiyu
4 声望

换成webman试试,可能比gin效果更好

3个月前 评论
志玲爸爸 （楼主） 3个月前
如果我有探究精神，我就再用webman写一版对比一下。但这只是工作，CPU降下来了，接口能用，翻篇，哈哈
1
mowangjuanzi
Laravel 9.x 译者 242 声望 / PHP工程师 @ 氪金兽

使用go 最明显的可以解决目前PHP存在的两个问题：

  • 请求时的文件读取和解析的耗时
  • 请求时创建数据库连接的耗时
3个月前 评论
志玲爸爸 （楼主） 3个月前
是的，可能不只是语言运行时方面的效率，php-fpm的工作方式和常驻内存之间也有不小的效率差距
mowangjuanzi （作者） 3个月前
@志玲爸爸 这个就算是细节方面的了。其实我个人觉得目前的 preload 和 mysql 持久连接是解决这个问题的一个方向。至于说 go 的协程部分，只能借助 fiber 来解决了
lovewei
105 声望

想了解下设备上传监测信息的接口，到底处理了什么业务，居然能把cpu打高，是接口接近并发上限，还是业务比较重处理时间较长，导致后续请求阻塞，导致cpu打高。

3个月前 评论
lovewei （作者） 3个月前

@志玲爸爸

  1. fpm是阻塞性设计，应对这种短时高峰业务，常规做法就是削峰，就是把业务环节中比较重的或者瓶颈部分拆出来，异步队列处理或者更改业务架构设计，目的是给接口减负，提高业务处理速度。
  2. 从你的业务场景来讲，我猜测是数据库IO操作这块比较耗时，而php操作数据库一般都是用后即断，不能持久后链接，虽然php也可以持久化数据库链接，在单个fpm进程的周期内可以复用，但是达到max_requests后，fpm进程就要销毁。
  3. 当然以上只是猜测，最好可以看下之前cpu打高的情况下，同时段数据库负载情况，结合fpm日志，好分析问题，当然最好是用linux stat命令记录进程日志，这样就能看到实际cpu打高的情况了。
志玲爸爸 （楼主） 3个月前
接近两千台设备，每台设备10秒定时上传一次监测信息，如果有敏感的数据变化，还会在定时上传之外额外上传，所以每台设备的上传频率至少10秒一次。拿到监测数据要对数据做相应的处理和判断，处理完会存入redis给其他业务读取用。判断到某些特地的条件还会有数据库的额外操作、转发给其他平台接口等。
志玲爸爸 （楼主） 3个月前
@lovewei 多谢，受教
农夫山泉 3个月前
@志玲爸爸 请求频率这么高的接口,不应该有外部接口请求和数据库操作.估计是该接口慢,把fpm进程都占光.
她来听我的演唱会 3个月前
@志玲爸爸 你这个场景有点像以前做物联网的时候的场景。例如大屏幕监控，需要连接到设备，定时上报信息，当时我的做法是，把设备的基本信息放到mysql里，其他的设备上报日志保存到mongodb里去，设备状态也是在mongodb里进行更新。这个是基本思路，遇到高并发就是分批、批量处理的思路。其实go语言也是一样的，管道（channel）这个概念在并发中很重要，其实也是一种队列的数据结构，先进先出。go的优势就是除了管道或者队列外，可以额外开启协程去处理，消耗的资源少。
志玲爸爸 （楼主） 3个月前
@她来听我的演唱会 我这边也是一样的，Mysql只存了基本信息，状态信息放在redis里。外部接口只有特定条件下才会触发，发送一条类似于警报的请求，频率并不高。
eanBear
7 声望

有开opcache，开配置缓存，路由缓存，持久化数据库和缓存链接，这个配置的机器性能不至于那么不堪呀，还是要具体问题具体分析。赞成@lovewei 说的，最好还是要看一下接口的性能卡点。 Reids 的 slowlog， SQL的慢查。还有打SQL日志，外部RPC的请求日志。往往有时候性能开销产生在一些不经意的写法上。

另外好奇一下，单独哪个接口用Go重写，那业务是怎么部署的呢？ 所有客户端改那个接口地址？还是用NG做个反代？

3个月前 评论
志玲爸爸 （楼主） 3个月前
ng反代。这个接口要处理的东西也挺多的，主要的那几个方向只能说go切中痛点了
农夫山泉
课程读者 75 声望

2000台设备每10秒请求一次,平均每秒请求200次.高峰还不只.你要说明你开多少个php-fpm进程和这个接口的响应时间.如果响应时间是1秒的话.你开200个fpm进程只处理这个接口.勉强是能应付得了.

3个月前 评论
lovewei 3个月前
理想状况下平均值200rps，实际可能远高于这个值，如果是fpm进程并发不足的问题，按照料敌从宽原则，以2000rps来进行压测，8核16G，开了opcache，可能实际接口的并发上限低于2000，理论上加机器最快能解决这个问题，楼主选择了省成本的方式处理这个问题。
农夫山泉 （作者） 3个月前

@lovewei 没有接口响应时间,无从谈QPS.2000台设备最高同时2000个请求,如果每个接口响应是100毫秒.开200个php-fpm进程就够.

xiusin 3个月前
@lovewei 有时间则优化程序，没时间则加机器
志玲爸爸 （楼主） 3个月前
@农夫山泉 进程应该不是这么算的，你要是开太多进程，CPU在进程间切换也是要耗资源的呀。开的进程超过了一个效率最优的点，只会拖累接口的处理速度。
农夫山泉 （作者） 3个月前
@志玲爸爸 不会的，使用静态模式，不需要切换进程。
GeorgeKing 3个月前
@农夫山泉 系统将 CPU 的时间分片，然后给到进程，是需要切换上下文的！除非 CPU 物理核心数大于进程数！
PolarX 2个月前

@农夫山泉 你以为2000个请求会平均分配到200个fpm,实际情况参考高速收费站堵车的时候,后面的车是挤成一团,这时候响应时间已经不重要了,因为已经是阻塞起来了的.另外fpm进程多了,8核要不停切换,最终的结果很可能就是切换的消耗比处理的消耗更高,很多事情不能想当然

KeveQin
0 声望

用长连接试试啊

3个月前 评论
arukas
课程读者 68 声望

脚本缓存开了没，看着像是文件i/o拖累了cpu

3个月前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！
支持 MD 帮助
志玲爸爸 13 声望
社区赞助商
成为赞助商

关于 LearnKu

LearnKu 是终身编程者的修道场
做最专业、严肃的技术论坛
LearnKu 诞生的故事

资源推荐

  • 《社区使用指南》
  • 《文档撰写指南》
  • 《LearnKu 社区规范》
  • 《提问的智慧》

    • 服务提供商

    其他信息

  • 成为版主
  • 所有测验
  • 联系站长（反馈建议）

    • 粤ICP备18099781号-6 | 粤公网安备 44030502004330号 | 违法和不良信息举报

    由 Summer 设计和编码 ❤

    请登录

    内容举报
    匿名举报，为防止滥用，仅管理员可见举报者。

    我要举报该，理由是：

    取消