Laravel 利用 maatwebsite/Excel 如何实现大量数据(百万级)导入数据库?

问答 / 52 / 10 / 创建于 8个月前 / 更新于 8个月前

当前版本 Laravel 8.*, maatwebsite/excel ~3.1

目前项目收到一个需求:导入百万级csv文件并做数据处理(数据去重,可用性(手机号))导入数据库
excel文件只有单列,手机号,数据量有百万条

2. 目前我使用的import类

Laravel 利用 maatwebsite/Excel 如何实现大量数据(百万级)导入数据库?
以上处理后,单个文件任务处理需要20分钟左右,还只是将数据导入到了临时表中

3. 临时表处理逻辑

Laravel 利用 maatwebsite/Excel 如何实现大量数据(百万级)导入数据库?

每次取1w条,一次百万数据得跑100次(逻辑代码请忽略)

4.请问还有什么更优的处理方式吗

6 声望

暂无个人描述~

《L03 构架 API 服务器》

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

如何打造令后端面试官印象深刻的简历？ 14 / 10 |

在laravel下实现全双工的websocket开发 21 / 8 |

如何让DcatAdmin再放光芒,惠及百万PHPer 18 / 39 |

利用 fail2ban 来控制 Laravel 站点的异常流量 46 / 22 |

用钉钉提醒 Laravel 11 异常：一个简单的实现 11 / 8 |

Tiny RDM - 您的极简Redis数据管理利器！高效、易用、快速部署。立即体验！🚀! 欢迎各位来尝鲜. 13 / 23 |

Smilephp

课程读者 142 声望

最佳答案

换一个 github.com/viest/php-ext-xlswriter

8个月前评论

wxy_55 （楼主）

更换了方式使用xlswriter 游标读取速度提升很大 100万条一分钟内读取完毕

讨论数量: 10

Smilephp

课程读者 142 声望

换一个 github.com/viest/php-ext-xlswriter

8个月前评论

wxy_55 （楼主）

更换了方式使用xlswriter 游标读取速度提升很大 100万条一分钟内读取完毕

91it

Laravel 9.x 译者 391 声望

可以使用基于xlswriter的laravel-excel扩展包，可以参考这个介绍文章：分享创造：推荐一个基于xlswriter的laravel-excel扩展包

8个月前评论

wxy_55 （楼主）

这个也不错,我直接用了1楼老哥推荐的

91it （作者）

@wxy_55 这个底层就是基于 php-ext-xlswriter 实现的哈

keyboby

课程读者 90 声望

我的理解是，数据导入都在内存中，你只是一次取10000条对吗？查询重复的手机号码，我觉得可以通过设置表唯一建，通过插入sql报错来去重，简化代码节省内存，然后再通过迭代器去执行，减少内存。

8个月前评论

wxy_55 （楼主）

开始使用maatwebsite/Excel ,分块读取内存消耗大换了xlswriter 游标读取速率提升很大手机号重复是后面的业务逻辑直接使用insertOrIgnore

JaguarJack

Laravel 9.x 译者 928 声望 / 开发 @ 家里蹲开发公司

重复手机号直接用 map 就行了，应该不需要多少内存的

8个月前评论

wxy_55 （楼主）

重复手机号验证是导入后面的逻辑我使用了insertOrIgnore 去重

Rache1

660 声望

csv 可以直接用 fopen/fgetcsv 来读一行，然后直接往数据库插就好了，字段列设置一下 unique 索引，在使用 insert ignore into 。

8个月前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助