PHP 如何去处理大数据量的任务呢？

问题

方案一：通过group查询时间段内的cookie（每小时查询一次），然后再继续通过这些cookie作为条件，再继续group今天的cookie，就可以获取，可通过mysql直接实现，时间较长

方案二：通过分页查询累加存储到数组，通过数组进行匹配进新匹配计算，但是数据量一大就内存不足

课程读者 34 声望

php @ none

如果能都多一点点微笑，生命也会多一点点美好

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

讨论数量: 2

GeorgeKing

L5.7 译者 763 声望

像这种访问日志建议走 MQ，用户访问时将访问数据写入 MQ，然后消费端对数据进行分析和存储。对于这种数据量大的且不变的数据可以考虑采用 Clickhouse 这样的列存储数据库，性能比 MySQL 高几十上百倍。

5年前评论

bestcyt

课程读者 198 声望 / 最底层码农 @ 4399

这种不是用redis来做吗？过滤重复存起来就行；然后可以维护一个所有访客的一个数据集当布隆过滤器；每日的访客去判断一下，不存在这个过滤器就是新访客

5年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助