讨论数量:
通常类似需求需要数据团队的支持,类似上面的技术架构
如果由业务同学自己实现简单统计需求且不想增加技术复杂度的话,可以采用以下简单方案 (类似楼上的描述)
- 数据埋点 (采用前后端 SDK 进行数据的上报,将采集的数据上报到日志服务中,如 nginx 日志,这样可以抗住前端的量)
- 日志采集 (解析日志,经过简单清晰写到队列中进行缓冲,如 kafka 或 redis)
- 数据存储 (可以采用业务常用的数据库来存储元数据,如 mysql 或 mongodb, 可以按月来分表)
- 数据处理与查询 (按业务分析需求,将元数据异构 / 离线出汇总结果单独存储,以异构出来的结果提供查询)
当然,步骤 1 和 2 也可以不采用上报到日志中,可以直接丢到队列里异步落库。可以看看「神策统计」的技术文档,了解一下他们的数据模型 , 不成熟的建议供参考
推荐文章: