八千万以上的数据怎么快速入库

问答 / 1 / 9 / 创建于 5年前 / 更新于 5年前

怎么快速入八千万以上的数据，预估每天八千万以上。
各位大佬，能提供个效率高的方案吗？

mysql

最闲的码农

课程读者 290 声望

php @ 你猜

=，

《L05 电商实战》

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

《L04 微信小程序从零到发布》

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

Max

746 声望

最佳答案

mysql 提供了一个 load data infile 命令，效率较高

5年前评论

最闲的码农（楼主）

好嘞，我试试，比较一下这几个方法

讨论数量: 9

wanghan

课程读者 105 声望 / PHP开发工程师 @ 无组织

mysql-cli source

5年前评论

最闲的码农（楼主）

我这个是8000w以上的文本，不是sql文件，这个不行吧。难道要把文本组成sql文件，再执行吗？

wanghan （作者）

@最闲的码农就是组成sql文件，别想着多进程了，到时候mysql会崩的

最闲的码农

课程读者 290 声望 / php @ 你猜

我准备用python，把文本切割用多进程跑，这样效率应该好点吧！！

5年前评论

Max

746 声望

mysql 提供了一个 load data infile 命令，效率较高

5年前评论

最闲的码农（楼主）

好嘞，我试试，比较一下这几个方法

chaofu

课程读者 180 声望

swoole 的协程也可以

5年前评论

码农先森

339 声望

可以使用 Go 语言，主线程切割文件，启动协成并发将数据入库。

5年前评论

Yaha

2 声望

转换为csv 用load导入

5年前评论

LOST

69 声望 / PHP开发 @ CVS小组

每天八千万数据，这是什么业务啊？

5年前评论

最闲的码农（楼主）

从用户行为日志中的生成的数据，然后进行分析和统计

QJAutumn

课程读者 56 声望

加机子,加钱,完事

5年前评论

最闲的码农

课程读者 290 声望 / php @ 你猜

博客：接上次问答【八千万 txt 文件快速导入】解决办法解决方式

5年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助