PHP 如何去处理大数据量的任务呢？

问答 / 0 / 2 / 创建于 4年前

问题

独立访客(UV)
1天（00:00 - 24:00）之内，访问网站的不重复用户数（以浏览器cookie为依据），一天内同一访客多次访问网站只被计算1次。
新独立访客
当日的独立访客中，历史上首次访问网站的访客为新独立访客。

方案一：通过group查询时间段内的cookie（每小时查询一次），然后再继续通过这些cookie作为条件，再继续group今天的cookie，就可以获取，可通过mysql直接实现，时间较长

方案二：通过分页查询累加存储到数组，通过数组进行匹配进新匹配计算，但是数据量一大就内存不足

有没有更好的办法来处理呢

caiyaonan

课程读者 34 声望

php @ none

如果能都多一点点微笑，生命也会多一点点美好

0 人点赞

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

推荐文章：

更多推荐...

博客

用 Laravel12 Startkit 做了一个 composer 私有包托管平台 😂 点赞超过 20 个开源，看看需要的人多不多 27 / 19 |

如何打造令后端面试官印象深刻的简历？ 14 / 10 |

博客

花了四个月打磨的 Laravel Plus 开源 30 / 98 |

博客

冯老师的困惑 —— 一个跑了两年的 BUG 19 / 16 |

博客

在laravel下实现全双工的websocket开发 21 / 8 |

分享创造

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 101 / 98 |

讨论数量: 2

GeorgeKing

L5.7 译者 761 声望

像这种访问日志建议走 MQ，用户访问时将访问数据写入 MQ，然后消费端对数据进行分析和存储。对于这种数据量大的且不变的数据可以考虑采用 Clickhouse 这样的列存储数据库，性能比 MySQL 高几十上百倍。

4年前评论

bestcyt

课程读者 198 声望 / 最底层码农 @ 4399

这种不是用redis来做吗？过滤重复存起来就行；然后可以维护一个所有访客的一个数据集当布隆过滤器；每日的访客去判断一下，不存在这个过滤器就是新访客

4年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

PHP 如何去处理大数据量的任务呢？

问题

有没有更好的办法来处理呢

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

PHP 如何去处理大数据量的任务呢？

问题

有没有更好的办法来处理呢

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录