海量数据存储你们是怎么处理的?

海量数据存储你们是怎么处理的?每天接近 3 千万数据这样,这种存哪里的?有没有成熟点的方案?
补充:
1、数据不删除 需要后台查看 根据日期查看 可以只保存一年 但是一年也不少数据了
2、存的数据也是类似日志记录类的数据
3、考虑用 es 但是 这种一天就千万数据是不是 es 也没办法支撑这么多数据存储

《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
讨论数量: 11
fatrbaby

这个还得看业务啊。看什么数据。是文件?还是用户数据?这些数据会被怎么使用?

2年前 评论

你可以看看日志服务,比如阿里云的 dataworks,我在的公司就是用这个存储的

2年前 评论

看业务场景,用一下就删的直接 redis 如果需要查的话可以考虑 mongo,因为阿里云上的话比 ES 便宜

2年前 评论
DonnyLiu

看具体使用的业务场景和什么类型的数据,是用户数据还是日志数据这种。

2年前 评论
aodaobi

mongodb

2年前 评论

我之前看一个视频说,很多 saas 系统,都是用 mongodb

2年前 评论

有种数据库叫做时序数据库 :grin:

2年前 评论

如果只是按日期查询 用 mongo 门槛低 效果好 如果查询需要分析 上 clickhouse Hadoop 之类的大数据就是初始化比较繁琐 ,一天 1000w 一年也才几十亿 完全小意思

2年前 评论
pardon110

时序库

2年前 评论

给的信息还不够多,其实不太好判断,不仅需要背景,还需要当前的需求目标,比如在 XXX 的情况、前提、背景下,在 XXX 周期内,达到 XXX 的要求。

只能给到一些参考方向,建议用云服务,对阿里云比较熟悉,考虑结合阿里云 PolarDB(OLTP)适合数据写入,可以支持到 10T 可能更高、ADB(OLAP)适合海量数据查询分析、OSS(适合文件存储),还有分库分表。

2年前 评论