八千万以上的数据怎么快速入库

问答 / 1198 / 9 / 创建于 4年前 / 更新于 4年前

怎么快速入八千万以上的数据，预估每天八千万以上。
各位大佬，能提供个效率高的方案吗？

mysql

最闲的码农

课程读者 290 声望

php @ 你猜

=，

《L04 微信小程序从零到发布》

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

Mysql 的 varchar 字段最大长度真的是 65535 吗？ 34 / 10 |

MySQL 实用小技巧——谁动了我的 MySQL ？ 63 / 18 |

对线面试官：MySQL 事务、锁和MVCC 23 / 4 |

对线面试官：12个MySQL慢查询的原因分析 55 / 8 |

laravel-soar(2.x) - 自动监控输出 SQL 优化建议、辅助 laravel 应用 SQL 优化 34 / 42 |

每天新增8640w数据，怎么存储比较好 21 / 50 |

Max

746 声望

最佳答案

mysql 提供了一个 load data infile 命令，效率较高

4年前评论

最闲的码农（楼主）

好嘞，我试试，比较一下这几个方法

讨论数量: 9

wanghan

课程读者 105 声望 / PHP开发工程师 @ 无组织

mysql-cli source

4年前评论

最闲的码农（楼主）

我这个是8000w以上的文本，不是sql文件，这个不行吧。难道要把文本组成sql文件，再执行吗？

wanghan （作者）

@最闲的码农就是组成sql文件，别想着多进程了，到时候mysql会崩的

最闲的码农

课程读者 290 声望 / php @ 你猜

我准备用python，把文本切割用多进程跑，这样效率应该好点吧！！

4年前评论

Max

746 声望

mysql 提供了一个 load data infile 命令，效率较高

4年前评论

最闲的码农（楼主）

好嘞，我试试，比较一下这几个方法

chaofu

课程读者 178 声望

swoole 的协程也可以

4年前评论

yxhsea

162 声望

可以使用 Go 语言，主线程切割文件，启动协成并发将数据入库。

4年前评论

Yaha

2 声望

转换为csv 用load导入

4年前评论

LOST

68 声望 / PHP开发 @ CVS小组

每天八千万数据，这是什么业务啊？

4年前评论

最闲的码农（楼主）

从用户行为日志中的生成的数据，然后进行分析和统计

QJAutumn

课程读者 56 声望

加机子,加钱,完事

4年前评论

最闲的码农

课程读者 290 声望 / php @ 你猜

博客：接上次问答【八千万 txt 文件快速导入】解决办法解决方式

4年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助