做行为数据分析这些需求的时候如何实现呢

功能需求#

项目需要,要求记录用户的行为数据,包括设备信息、行为信息等,投放广告后一天的数据量有 30-50 万用户量,有没有这方面经验的大佬,表该如何设计呢,怎么防止后面查询统计分析的时候查询过慢的问题呢?

《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
讨论数量: 3

这种数据可以采用 Clickhouse 来存储,OLAP 速度很快,如果非要用 MySQL 来做的话,只能异步写入,再异步分析,最终统计汇总时查询就比较快了。

4年前 评论
caiyaonan (楼主) 4年前

通常类似需求需要数据团队的支持,类似上面的技术架构

如果由业务同学自己实现简单统计需求且不想增加技术复杂度的话,可以采用以下简单方案 (类似楼上的描述)

  1. 数据埋点 (采用前后端 SDK 进行数据的上报,将采集的数据上报到日志服务中,如 nginx 日志,这样可以抗住前端的量)
  2. 日志采集 (解析日志,经过简单清晰写到队列中进行缓冲,如 kafka 或 redis)
  3. 数据存储 (可以采用业务常用的数据库来存储元数据,如 mysql 或 mongodb, 可以按月来分表)
  4. 数据处理与查询 (按业务分析需求,将元数据异构 / 离线出汇总结果单独存储,以异构出来的结果提供查询)

当然,步骤 1 和 2 也可以不采用上报到日志中,可以直接丢到队列里异步落库。可以看看「神策统计」的技术文档,了解一下他们的数据模型 , 不成熟的建议供参考

4年前 评论
caiyaonan (楼主) 4年前

我选择 百度统计 , 调用他们的接口。
tongji

这么大的量,没做过。

4年前 评论
caiyaonan (楼主) 4年前