使用 chunkById 方法的时候请不要进行排序

最近在做开发任务的时候碰到了个诡异的问题,于是分享给大家

问题说明#

由于需要批量处理数据,并且这个数据的量很大,一次全部取出然后执行是不现实的,幸运的是 Laravel 为我们提供了 chunkById 方法来让我们方便的处理。伪代码如下

Student::query()
    ->where('is_delete', false)
    ->orderBy('id', 'DESC')
    ->chunkById(200, function($students) {
            // 在这里进行逻辑处理
    });

咋一眼看上去,并没有什么问题,但是实际执行代码的时候会发现 chunkById 只会执行第一次,第二次以后由于某种原因会停止执行。

查找原因#

Laravel 的源码中 chunkById 代码如下

    public function chunkById($count, callable $callback, $column = null, $alias = null)
    {
        $column = is_null($column) ? $this->getModel()->getKeyName() : $column;

        $alias = is_null($alias) ? $column : $alias;

        $lastId = null;

        do {
            $clone = clone $this;


            $results = $clone->forPageAfterId($count, $lastId, $column)->get();

            $countResults = $results->count();

            if ($countResults == 0) {
                break;
            }


            if ($callback($results) === false) {
                return false;
            }

            $lastId = $results->last()->{$alias};

            unset($results);


        } while ($countResults == $count);

        return true;
    }

看起来没什么问题,由于 while 循环是根据 $countResults == $count 来判断的,那么我们 dump 一下这两个变量就会发现, 第一次这两个是一致的,第二次由于数据不一致导致程序停止。

在上面的代码中, $count 是由 $results = $clone->forPageAfterId($count, $lastId, $column)->get(); 来获得的,

继续查看 forPageAfterId 方法

public function forPageAfterId($perPage = 15, $lastId = 0, $column = 'id')
{
    $this->orders = $this->removeExistingOrdersFor($column);

    if (! is_null($lastId)) {
        $this->where($column, '>', $lastId);
    }

    return $this->orderBy($column, 'asc')
                ->take($perPage);
}

我们可以看到,在这里返回的结果是 orderBy 进行升序排列的, 而我们的原始代码是进行降序排列,就会导致 count 不一致,从而使 chunkById 结束执行。

解决方案#

把之前的 orderBy('id', 'desc') 移除即可。

Student::query()
    ->where('is_delete', false)
    ->chunkById(200, function($students) {
            // 在这里进行逻辑处理
    });

总结#

  • 以后使用 chunkById 或者 chunk 方法的时候不要添加自定义的排序
  • 骚到老,学到老。。。
本作品采用《CC 协议》,转载必须注明作者和本文链接
There's nothing wrong with having a little fun.
本帖由系统于 4年前 自动加精
Epona
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 15
sreio

虽然没有遇到过 (使用 chunkById 的时候,我还没有遇到有需要排序的情况),但还是学习了,感谢大佬的分享。

骚到老,学到老。。。

4年前 评论

感谢分享

4年前 评论
panda-sir

学到了 mark 一下 :grin:

4年前 评论

为什么不用 chunk

4年前 评论
Epona (楼主) 4年前
ChenRuihua 4年前
振翅飞翔 (作者) 4年前
振翅飞翔 (作者) 4年前
kiti 4年前

骚代码写起来

4年前 评论

都 chunkById 了还去 order by id 干嘛

4年前 评论
chowjiawei

我遇到过,chunk 还是 chunkbyid 都是不能排序 一排就会执行第一次 简直无语了

3年前 评论

假如不是按照 id 排序的话,会漏数据

3年前 评论