做行为数据分析这些需求的时候如何实现呢

功能需求

项目需要,要求记录用户的行为数据,包括设备信息、行为信息等,投放广告后一天的数据量有30-50万用户量,有没有这方面经验的大佬,表该如何设计呢,怎么防止后面查询统计分析的时候查询过慢的问题呢?

《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 3

这种数据可以采用 Clickhouse 来存储,OLAP 速度很快,如果非要用 MySQL 来做的话,只能异步写入,再异步分析,最终统计汇总时查询就比较快了。

3年前 评论
caiyaonan (楼主) 3年前

通常类似需求需要数据团队的支持,类似上面的技术架构

如果由业务同学自己实现简单统计需求且不想增加技术复杂度的话,可以采用以下简单方案 (类似楼上的描述)

  1. 数据埋点 (采用前后端SDK进行数据的上报,将采集的数据上报到日志服务中, 如nginx日志, 这样可以抗住前端的量)
  2. 日志采集 (解析日志,经过简单清晰写到队列中进行缓冲, 如kafka或redis)
  3. 数据存储 (可以采用业务常用的数据库来存储元数据, 如mysql或mongodb, 可以按月来分表 )
  4. 数据处理与查询 (按业务分析需求, 将元数据异构/离线出汇总结果单独存储, 以异构出来的结果提供查询)

当然, 步骤1和2也可以不采用上报到日志中, 可以直接丢到队列里异步落库。可以看看「神策统计」的技术文档, 了解一下他们的数据模型 , 不成熟的建议供参考

3年前 评论
caiyaonan (楼主) 3年前

我选择 百度统计, 调用他们的接口。
tongji

这么大的量,没做过。

3年前 评论
caiyaonan (楼主) 3年前

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!