统计数据 怎么处理比较好?

1实时查
2维护亢余字段,
3建立一个统计表,定时去跑脚本更新数据,数据取的是这个统计表
4es数据统计

还有什么好的方法?
当数据量大的时候,采取什么办法去统计。

《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
最佳答案

可以考虑将原始数据写入 ES,然后报表都在 kibana 实现,不过有个比较麻烦的问题是,原始数据在关系型数据库里边会有关联关系,同步到 ES 的数据结构需要考量下,有些跨表的查询统计就不很适用了。

3年前 评论
讨论数量: 3

还是维护统计表比较好,只要系统稍微复杂一点,数据统计的设计逻辑很大程度就和常规业务逻辑不一样,单独统计表可以改变数据架构逻辑,也可以冗余更多字段来让统计更简单更有效,而且一边产品天天改改需求,一边运营天天换数据统计逻辑,搞在一起感觉分分钟要死人啊

但是做这个脚本真的是很烦人啊,直接写脚本吧挂了修复又好麻烦,后来搞了个专门的工具来同步数据,用json来定义同步逻辑,自动增量diff,也支持直接用raw sql查询出数据后再处理,但是一直没有写出个文档来,哈哈

github.com/snower/syncany

3年前 评论
  1. 实时查:小系统可以,大系统 pass
  2. 维护冗余字段:分离的好
  3. 建立一个统计表:小系统可以,大系统则分开数据库。
  4. ES 数据统计:没弄过,不评价

数据传输到内网另一台数据库执行

3年前 评论

可以考虑将原始数据写入 ES,然后报表都在 kibana 实现,不过有个比较麻烦的问题是,原始数据在关系型数据库里边会有关联关系,同步到 ES 的数据结构需要考量下,有些跨表的查询统计就不很适用了。

3年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!