网站采集接口，每分钟差不多有100个左右得接口要采集

我们公司也有类似的业务，环境貌似和你的一样

关键点就是api任务平均分发执行，不要每分钟同一时间去执行。

比如每秒执行一个任务，等100个任务执行完了，再从头开始执行第一个任务，这样 100个任务就平均分给每秒了，等于是100秒更新完所有任务。服务器压力会少很多。

然后就是加几台配置小的服务器，来负载任务，比如A服务器来执行 1-50条任务，B服务器执行 51-100条任务，这样也等于是缓解压力了

数据库方面A服务器采集回来在A中的mysql 去缓存，B服务器采集的在B中缓存，最后由主服务器只需要去定时同步合并AB服务器的数据库就行了

目前公司是这样做的，希望对你有帮助

加服务器就完事了

这种应该单独的服务器去跑吧，避免影响主业务

1. 简单点就用1楼说的，把定时任务均匀的分配到一分钟，不要同时执行（个人觉得成本最低）
2. 可以用队列，这样可以控制进程数量，这样可以降低服务器峰值的资源占用（个人觉得方案最优）

使用laravel导致cpu满很正常，可以把opencache开起来

你请求别人之后把数据丢到队列里执行异步执行

500W数据的话可以写个删除脚本，然后创建数据增加redis的分布式锁，删除脚本在数据删除的时候跟着删除锁，每次单条循环判断redis锁，推到数组里批量新增数据

数据采集，网站对于频繁请求会对IP进行封禁，请问大家是如何解决的？ 是使用的 随机切换IP(DAILI) 去请求吗？ 有推荐的不？

github.com/Yurunsoft/yurun-crawler... 试试这个或者请求接口换成 doc.yurunsoft.com/YurunHttp/172