scout:import 内存溢出

问答 / 4 / 2 / 创建于 4年前

通过scout:import 导入数据到队列，运行中脚本内存使用率一直在上涨，需要导入的数据约1200W，每次在导入到170W左右会到达上限20G内存左右，导致内存溢出。
命令：php artisan scout:import “App\Models\Archive”

scout scout:import import elasticsearch scout-elasticsearch-driver

吴涛

课程读者 10 声望

暂无个人描述~

0 人点赞

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

博客

ElasticSearch基本操作 21 / 7 |

博客

elasticsearch搜索商品 27 / 23 |

博客

只需五步集成新版 Elasticsearch7.9 中文搜索到你的 Laravel7 项目 82 / 35 |

博客

在Laravel项目中使用Elasticsearch 17 / 2 |

博客

hyperf 学习项目，使用社区教程实现的一套商城 API 10 / 21 |

博客

Laravel + Elasticsearch 实现中文搜索 52 / 4 |

Imuyu

课程读者 874 声望

最佳答案

chunk选项分批导入

php artisan scout:import 'App\Models\Archive' -c

然后在scout.php 设置批次数量

4年前评论

吴涛（楼主）

非常感谢，加上了-c参数后发现是不增加了，然后又使用不加-c参数发现内存不再增加。在服务器测试也不再增加。莫名其妙。但还是非常感谢

吴涛（楼主）

我看错服务器了。。。内存还是在持续增长

讨论数量: 2

Imuyu

课程读者 874 声望

chunk选项分批导入

php artisan scout:import 'App\Models\Archive' -c

然后在scout.php 设置批次数量

4年前评论

吴涛（楼主）

非常感谢，加上了-c参数后发现是不增加了，然后又使用不加-c参数发现内存不再增加。在服务器测试也不再增加。莫名其妙。但还是非常感谢

吴涛（楼主）

我看错服务器了。。。内存还是在持续增长

Imuyu

课程读者 874 声望

调试Laravel\Scout\SearchableScope@extend这里，分批导入，看看是什么占用的内存

4年前评论

吴涛（楼主）

好的，谢谢。明天我试一下，我新建了个项目专门用来导入发现不在产生内存溢出问题。应该是我原项目有什么影响到了数据的导入而不是scout本身的问题

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

scout:import 内存溢出

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

scout:import 内存溢出

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录