海量数据存储你们是怎么处理的?

海量数据存储你们是怎么处理的?每天接近3千万数据这样,这种存哪里的?有没有成熟点的方案?
补充:
1、数据不删除 需要后台查看 根据日期查看 可以只保存一年 但是一年也不少数据了
2、存的数据也是类似日志记录类的数据
3、考虑用es 但是 这种一天就千万数据是不是es也没办法支撑这么多数据存储

《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 11
fatrbaby

这个还得看业务啊。看什么数据。是文件?还是用户数据?这些数据会被怎么使用?

1年前 评论

你可以看看日志服务,比如阿里云的dataworks,我在的公司就是用这个存储的

1年前 评论

看业务场景,用一下就删的直接redis 如果需要查的话可以考虑mongo,因为阿里云上的话比ES便宜

1年前 评论
DonnyLiu

看具体使用的业务场景和什么类型的数据,是用户数据还是日志数据这种。

1年前 评论
aodaobi

mongodb

1年前 评论

我之前看一个视频说,很多saas系统,都是用mongodb

1年前 评论

有种数据库叫做时序数据库 :grin:

1年前 评论

如果只是按日期查询 用mongo门槛低 效果好 如果查询需要分析 上clickhouse Hadoop之类的大数据就是初始化比较繁琐 ,一天1000w 一年也才几十亿 完全小意思

1年前 评论
pardon110

时序库

1年前 评论

给的信息还不够多,其实不太好判断,不仅需要背景,还需要当前的需求目标,比如在XXX的情况、前提、背景下,在XXX周期内,达到XXX的要求。

只能给到一些参考方向,建议用云服务,对阿里云比较熟悉,考虑结合阿里云PolarDB(OLTP)适合数据写入,可以支持到10T可能更高、ADB(OLAP)适合海量数据查询分析、OSS(适合文件存储),还有分库分表。

1年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!