记使用 Laravel-s 抵御百度爬虫的经历

什么是 Laravel-s

LaravelS是一个胶水项目,用于快速集成Swoole到Laravel或Lumen,赋予它们更好的性能
github地址

为什么用 Laravel-s

百度小程序上线后,百度爬虫过高的 qps(并发) 导致 cpu 满载,服务器宕机,服务器配置4核8G内存5M宽带。这时候怎么办?

  1. 调整 php-fpm 参数,设置为静态,静态模式对比动态模式性能更高。比如设置子进程数量255甚至更高,越高承受的并发量越大,但越高占用内存越大。结论,一定程度上有效果,但高并发下无用。
  2. 反馈百度调整爬虫抓取频率。结论,等吧,黄花菜都凉了,但还是反馈下比较好。
  3. 负载均衡。让其他服务器分担压力,前提是有足够的服务器,且都要部署相同的代码,且不能影响其他服务器本来职责的业务。或者在某云临时申请N台服务器,但你不知道爬虫什么时间来,什么时间去,不现实。
  4. 接下来就是文章的主题,用 Laravel-s 加速 http 响应。

Laravel-s 究竟起到多少加速效果

由于当时没有统计所有时段 qps 具体值(某时段150+qps),所以没办法得出准确的结论,只能根据调整前后的机器负载做对比。

部署前,cpu满载,机器宕机N次,瘫痪状态。外网出宽带占满(5M),部署后cpu立即降到20%+, 临时升级宽带15M后,cpu达到 60%,外网宽带仍被占满(只能说百度爬虫是真作啊,多少宽带你就来多少啊)。结论,至少带来5倍的性能提升。

具体部署

爬虫所爬取的页面只是一部分,所以并不是将线上项目改造成laravel-s,也不现实。我们只需要将爬取的页面分离出来,单独部署到laravel-s

  1. 新建空项目,业务逻辑只处理抓取的页面api,项目端口号如 6501
  2. 部署 laravel-s ,测试api 及 ab压测
  3. 线上项目将爬虫爬取的页面路径代理到新建项目,如127.0.0.1:6501
    location ~ ^/v1/test.* {
     proxy_pass http://127.0.0.1:6501;
     proxy_set_header Host $host;
    }

注意的几点:

  1. conf/laravels.php 中,默认开启 worker 数量是 cpu 核数的两倍。
  2. laravles 是运行在 swoole ,在内存中,每次更改代码,需重启 laravel-s
  3. 由于第2条的原因,数据库连接得不到释放,需开启 laravel 的断开重连(>laravle5.1)。在 conf/database.phpmysql配置中添加
    'options'   => [
     // 开启持久连接
     \PDO::ATTR_PERSISTENT => true,
    ],
本作品采用《CC 协议》,转载必须注明作者和本文链接
focus
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
讨论数量: 2

为什么不先试试编写robots.txt呢,明显这个方案的成本要低得多,即便没有效果在考虑其他方案时间上也足够

3周前 评论
php_yt (楼主) 3周前
黑将军

robots.txt感觉更优

2天前 评论

请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!