八千万以上的数据怎么快速入库

问答 / 1 / 9 / 创建于 6年前 / 更新于 6年前

怎么快速入八千万以上的数据，预估每天八千万以上。
各位大佬，能提供个效率高的方案吗？

mysql

最闲的码农

课程读者 290 声望

php @ 你猜

=，

《L05 电商实战》

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

冯老师的困惑 —— 一个跑了两年的 BUG 21 / 17 |

手摸手带你使用 docker-compose 编排一个开发环境 21 / 15 |

MySQL 8.0 官方手册翻译征集 10 / 14 |

Laravel 实用小技巧 —— 如何快速更新 20 万条 MySQL 数据？ 20 / 26 |

Mysql 的 varchar 字段最大长度真的是 65535 吗？ 35 / 10 |

别让这样的定时任务拖垮你的网站 24 / 30 |

weiwenhao

747 声望

最佳答案

mysql 提供了一个 load data infile 命令，效率较高

6年前评论

最闲的码农（楼主）

好嘞，我试试，比较一下这几个方法

讨论数量: 9

wanghan

课程读者 105 声望 / PHP开发工程师 @ 无组织

mysql-cli source

6年前评论

最闲的码农（楼主）

我这个是8000w以上的文本，不是sql文件，这个不行吧。难道要把文本组成sql文件，再执行吗？

wanghan （作者）

@最闲的码农就是组成sql文件，别想着多进程了，到时候mysql会崩的

最闲的码农

课程读者 290 声望 / php @ 你猜

我准备用python，把文本切割用多进程跑，这样效率应该好点吧！！

6年前评论

weiwenhao

747 声望

mysql 提供了一个 load data infile 命令，效率较高

6年前评论

最闲的码农（楼主）

好嘞，我试试，比较一下这几个方法

chaofu

课程读者 180 声望

swoole 的协程也可以

6年前评论

码农先森

338 声望

可以使用 Go 语言，主线程切割文件，启动协成并发将数据入库。

6年前评论

Yaha

2 声望

转换为csv 用load导入

6年前评论

LOST

69 声望 / PHP开发 @ CVS小组

每天八千万数据，这是什么业务啊？

6年前评论

最闲的码农（楼主）

从用户行为日志中的生成的数据，然后进行分析和统计

QJAutumn

课程读者 56 声望

加机子,加钱,完事

6年前评论

最闲的码农

课程读者 290 声望 / php @ 你猜

博客：接上次问答【八千万 txt 文件快速导入】解决办法解决方式

6年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助