海量数据存储你们是怎么处理的?
海量数据存储你们是怎么处理的?每天接近3千万数据这样,这种存哪里的?有没有成熟点的方案?
补充:
1、数据不删除 需要后台查看 根据日期查看 可以只保存一年 但是一年也不少数据了
2、存的数据也是类似日志记录类的数据
3、考虑用es 但是 这种一天就千万数据是不是es也没办法支撑这么多数据存储
这个还得看业务啊。看什么数据。是文件?还是用户数据?这些数据会被怎么使用?
你可以看看日志服务,比如阿里云的dataworks,我在的公司就是用这个存储的
看业务场景,用一下就删的直接redis 如果需要查的话可以考虑mongo,因为阿里云上的话比ES便宜
看具体使用的业务场景和什么类型的数据,是用户数据还是日志数据这种。
mongodb
我之前看一个视频说,很多saas系统,都是用mongodb
有种数据库叫做时序数据库 :grin:
如果只是按日期查询 用mongo门槛低 效果好 如果查询需要分析 上clickhouse Hadoop之类的大数据就是初始化比较繁琐 ,一天1000w 一年也才几十亿 完全小意思
mongodb,
时序库
给的信息还不够多,其实不太好判断,不仅需要背景,还需要当前的需求目标,比如在XXX的情况、前提、背景下,在XXX周期内,达到XXX的要求。
只能给到一些参考方向,建议用云服务,对阿里云比较熟悉,考虑结合阿里云PolarDB(OLTP)适合数据写入,可以支持到10T可能更高、ADB(OLAP)适合海量数据查询分析、OSS(适合文件存储),还有分库分表。