PHP 如何去处理大数据量的任务呢？

问题

方案一：通过group查询时间段内的cookie（每小时查询一次），然后再继续通过这些cookie作为条件，再继续group今天的cookie，就可以获取，可通过mysql直接实现，时间较长

方案二：通过分页查询累加存储到数组，通过数组进行匹配进新匹配计算，但是数据量一大就内存不足

课程读者 34 声望

php @ none

如果能都多一点点微笑，生命也会多一点点美好

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

讨论数量: 2

GeorgeKing

L5.7 译者 763 声望

像这种访问日志建议走 MQ，用户访问时将访问数据写入 MQ，然后消费端对数据进行分析和存储。对于这种数据量大的且不变的数据可以考虑采用 Clickhouse 这样的列存储数据库，性能比 MySQL 高几十上百倍。

5年前评论

bestcyt

课程读者 198 声望 / 最底层码农 @ 4399

这种不是用redis来做吗？过滤重复存起来就行；然后可以维护一个所有访客的一个数据集当布隆过滤器；每日的访客去判断一下，不存在这个过滤器就是新访客

5年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助