Laravel 利用 maatwebsite/Excel 如何实现大量数据(百万级)导入数据库?

问答 / 24 / 10 / 创建于 3周前 / 更新于 3周前

当前版本 Laravel 8.*, maatwebsite/excel ~3.1

目前项目收到一个需求:导入百万级csv文件并做数据处理(数据去重,可用性(手机号))导入数据库
excel文件只有单列,手机号,数据量有百万条

2. 目前我使用的import类

Laravel 利用 maatwebsite/Excel 如何实现大量数据(百万级)导入数据库?
以上处理后,单个文件任务处理需要20分钟左右,还只是将数据导入到了临时表中

3. 临时表处理逻辑

Laravel 利用 maatwebsite/Excel 如何实现大量数据(百万级)导入数据库?

每次取1w条,一次百万数据得跑100次(逻辑代码请忽略)

4.请问还有什么更优的处理方式吗

6 声望

暂无个人描述~

《L02 从零构建论坛系统》

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

推荐文章：

更多推荐...

在laravel下实现全双工的websocket开发 16 / 5 |

如何让DcatAdmin再放光芒,惠及百万PHPer 15 / 37 |

利用 fail2ban 来控制 Laravel 站点的异常流量 46 / 21 |

用钉钉提醒 Laravel 11 异常：一个简单的实现 11 / 8 |

Tiny RDM - 您的极简Redis数据管理利器！高效、易用、快速部署。立即体验！🚀! 欢迎各位来尝鲜. 13 / 23 |

dcat-admin多应用后台高效实现免密登陆其它后台 23 / 11 |

Smilephp

课程读者 127 声望

最佳答案

换一个 github.com/viest/php-ext-xlswriter

3周前评论

wxy_55 （楼主）

更换了方式使用xlswriter 游标读取速度提升很大 100万条一分钟内读取完毕

讨论数量: 10

Smilephp

课程读者 127 声望

换一个 github.com/viest/php-ext-xlswriter

3周前评论

wxy_55 （楼主）

更换了方式使用xlswriter 游标读取速度提升很大 100万条一分钟内读取完毕

91it

Laravel 9.x 译者 384 声望

可以使用基于xlswriter的laravel-excel扩展包，可以参考这个介绍文章：分享创造：推荐一个基于xlswriter的laravel-excel扩展包

3周前评论

wxy_55 （楼主）

这个也不错,我直接用了1楼老哥推荐的

91it （作者）

@wxy_55 这个底层就是基于 php-ext-xlswriter 实现的哈

keyboby

课程读者 83 声望

我的理解是，数据导入都在内存中，你只是一次取10000条对吗？查询重复的手机号码，我觉得可以通过设置表唯一建，通过插入sql报错来去重，简化代码节省内存，然后再通过迭代器去执行，减少内存。

3周前评论

wxy_55 （楼主）

开始使用maatwebsite/Excel ,分块读取内存消耗大换了xlswriter 游标读取速率提升很大手机号重复是后面的业务逻辑直接使用insertOrIgnore

JaguarJack

Laravel 9.x 译者 862 声望 / 开发 @ 家里蹲开发公司

重复手机号直接用 map 就行了，应该不需要多少内存的

3周前评论

wxy_55 （楼主）

重复手机号验证是导入后面的逻辑我使用了insertOrIgnore 去重

Rache1

614 声望

csv 可以直接用 fopen/fgetcsv 来读一行，然后直接往数据库插就好了，字段列设置一下 unique 索引，在使用 insert ignore into 。

3周前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助