业务指标的采集与同步如何设计呢?

最近在做小说网站,需要统计小说作品的点击次数这个业务指标,需要实时记录并提供历史查询功能。

目前的方案是:
后端程序启动时,查询 mysql 数据,把各个作品的点击数据批量同步到 redis,这是初始化;
用户点击作品时,更改 redis 中的作品的点击数据,记录下待同步的作品 id;
启动定时执行任务,每 10 分钟执行一次,如果有待同步的作品 id,就把它们的 redis 中的点击数据批量同步到 mysql;

遇到的问题:
同步点击数据到 mysql 时,从 redis 里取的的可能是 0 值,作品的点击数据就被重置为 0 了;或者 redis 服务意外停了,导致指标数据异常。

这是简化后的描述,实际上是把 redis 的数据同步到 mysql 与 clickhouse

讨论数量: 1

场景:小说点击更新是个频繁操作所以需要把数据放到 redis 中,再异步更新到 mysql 中。 1、你从 redis 中取出的值为 0 的情况,是启动的时候没有把数据加载进来吗? 此时是不是就不更新了,点击肯定是递增的,没有必要更新数据库了。 2、 redis 服务崩溃,集群环境下还是很稳定的吧。

1年前 评论