在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据)

zhonglang 的个人博客 / 30 / 3 / 创建于 4年前 / 更新于 4年前

在`Laravel`中使用`cursor`来查询并处理数据 (轻松处理千万级的数据)

事发现场

最近在项目中遇到内存不足的问题, 测试环境中的PHP内存只有64M,在导出的时候, 数据量比较大,这个时候会出现内存溢出的错误.

如何解决

目前想到两种方法:

调整php.ini文件中memory_limit配置项; 或者在调用方法中调整内存大小ini_set('memory_limit', "").
使用Laravel的Lazy Collection.

考虑到修改配置文件的影响范围过大, 以及对导出的实时性要求不是很高, 所以我们选择了第二种方法.

Lazy Collection

如何使用Lazy Collection? 很简单, 将查询构建器链末尾的get()更改为cursor()就好了 !

cursor ( )

cursor的原理

cursor的实现使用了 yield 关键字, yield关键字是生成器函数的核心, 它的调用形式跟return很像, 不同之处在于return会返回值并且终止函数执行, 而yield会返回值给循环调用生成器的代码并且只是暂停生成器函数.

cursor()的代码如下

  /**
   * Get a generator for the given query.
   *
   * @return \Generator
   */
  public function cursor()
  {
      foreach ($this->applyScopes()->query->cursor() as $record) {
          yield $this->newModelInstance()->newFromBuilder($record);
      }
  }

由于使用了yield关键字, 在循环cursor生成器的时候,可以渐进式的处理数据,即使在内存很小的情况下,也可以轻松处理千万级的数据! 真的是非常方便哦!

php yield laravel

本作品采用《CC 协议》，转载必须注明作者和本文链接

坚定地后端开发者

35 声望

PHP是最好的语言

《L05 电商实战》

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

推荐文章：

更多推荐...

花了四个月打磨的 Laravel Plus 开源 28 / 96 |

试用 Laravel + 树莓派搭建视频监控，并支持线上访问 25 / 19 |

在laravel下实现全双工的websocket开发 21 / 8 |

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 97 / 98 |

Laravel 实用小技巧——缓存标签的小秘密（下） 12 / 11 |

Laravel 实用小技巧——缓存标签的小秘密（上） 16 / 6 |

讨论数量: 3

Adachi

252 声望

如果只是导出的话，可以设置查询1000条，然后写入1000条，再查询1000条，再写入1000条。

4年前评论

zhonglang （楼主）

这个方法适用于在有限内存中处理大数据的场景哦

JerryBool

283 声望

chunkById 更合适

4年前评论

Adachi

252 声望

看到了你的已知条件，内存很少，这样导出几个G的文件也没啥问题，当然如果数据量很大的话不要用limit，会很慢。

$fp = fopen('xxx.csv', 'a');
Model::->orderBy('id')->chunk(1000, function($items) use ($fp) {
    foreach ($items as $item)
    {
        fputcsv($fp, $item);
    }
});
fclose($fp);

4年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

未填写

私信

文章归档

1 篇 2022 年 5 月 1 篇 2022 年 3 月 3 篇 2022 年 1 月 1 篇 2020 年 12 月

2年前 Laravel 中模型事件 Observer 的使用 3年前 Homestead Vagrant 使用中的一些记录 3年前 [Go]Go 语言基础拾遗（一） 3年前 [工具]Pandoc 使用笔记 3年前如何本地安装 godoc ？

4 在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据) 1 如何本地安装 godoc ？ 1 [Go]Go 语言基础拾遗（一） 1 Homestead Vagrant 使用中的一些记录 0 [工具]Pandoc 使用笔记

博客标签

成为赞助商