数据统计刷新越来越慢

延迟一天，每天凌晨更新

刷新啥玩意？一脸懵

最近有遇到过类似的问题。

1. 我们用 mongodb 做数据临存
2. 定时汇总数据到mongodb
3. 同步至mysql时异步通知 清空mongodb 里不需要在统计的 相关数据.

个人意见如下:

1. 异步刷新，比如定时任务。
2. 提前缓存数据，比如统计用户数，每注册一个Redis就incr一次，不需要保证事务redis一定写成功，定时任务定期去查询用户总数同步到redis避免差异值过大，查询时直接读取redis就可以知道用户总数，这样实现难度低，工作量少，类似的统计任务业务允许的情况下均可以如此实现。
3. 查询时间交岔开，比如你要统计A表数量，又要统计B表等N多聚合查询，数据库瞬间压力大，可以分开交叉查询，比如A表30秒更新一次统计，B表50秒更新一次统计，不要把聚合查询这种高消耗的SQL连续使用。
4. 从库查询，Mysql有主从的情况下，可以单独分配一台从库供后台等业务使用，统计查询可以走这里，避免执行高消耗任务时影响用户端。

如果是每个用户都不一样的用户段统计数据的话就要具体情况具体分析了

设置一个系统刷新时间间隔的阈值（保存一个带超时的redis key），用户请求刷新先看看存不存在key，存在的话就跳过刷新，直接返回数据，不存在就执行刷新，缓存key，定时执行刷新的任务也要查询key，不存在才执行刷新。
用户端最好显示最后更新时间，把刷新时间暴露给用户，用户决定要不要刷新，也解决用户需要反馈的问题。

可以考虑换clickhouse