请问下 Laravel 7 如果使用 Command 多线程？

$chapterDetail[‘img’],是远程同步图片地址，但是数据大约200W条挨条处理是在太慢！服务器16H 32G 8T 硬件没有任何问题！请问下如何写多线程！要不然200w条数据同步2个月时间太长了

  /*同步内容图片*/
        ini_set('memory_limit', '-1');
        foreach (ChapterDetail::all() as $chapterDetail)
        {
            if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
            {
            $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
            }
        }
        $this->info('全部图片同步完成');

李小明

课程读者 229 声望

保持好奇，刻意学习，每日精进

3 人点赞

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

推荐文章：

更多推荐...

分享创造

使用 Laravel 10 & Vue 3 开发了一个社区站，一起来玩下～ 17 / 39 |

面试 POPER 的后端开发工程师的离奇经历 35 / 104 |

博客

🎈 Slow Admin - 使用Laravel和Amis快速构建你的后台 31 / 40 |

翻译

Laravel 代码重构：使用 Services, Events, Jobs, Actions 来重构控制器方法 77 / 23 |

博客

使用 Laravel Filament 极速搭建美观大方的后台面板 24 / 42 |

博客

聊聊 Interface 在 Laravel 开发中的使用 44 / 9 |

yanthink

455 声望

最佳答案

$pids[];

collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) {
    switch ($pids[] = pcntl_fork()) {
        case -1:
           die('子进程创建失败！');
        case 0:
            foreach ($chapterDetails as $chapterDetail)
            {
                if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
                {
                    $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                    $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                    Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                    $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
                }
            }
            exit;
        default:
            break;
    }
});

while (count($pids)) {
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    if ($pid === -1) {
        break;
    }
    $pids = array_filter($pids, fn($id) => $id !== $pid);
}

$this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

3年前评论

yanthink （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

讨论数量: 11

yanthink

455 声望

$pids[];

collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) {
    switch ($pids[] = pcntl_fork()) {
        case -1:
           die('子进程创建失败！');
        case 0:
            foreach ($chapterDetails as $chapterDetail)
            {
                if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
                {
                    $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                    $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                    Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                    $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
                }
            }
            exit;
        default:
            break;
    }
});

while (count($pids)) {
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    if ($pid === -1) {
        break;
    }
    $pids = array_filter($pids, fn($id) => $id !== $pid);
}

$this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

3年前评论

yanthink （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

gooogle

14 声望

写个http接口，入参为同步的数组索引范围。然后用Java（Thread+HttpClient）或者php（curl_multi）写个多线程接口调用，模拟100个并发线程即可。本身宿主机若用php-fpm，需要开启100个以上的子进程。

3年前评论

李小明（楼主）

感谢您的回答！这个方法有些复杂！我新手无法实现！

蔺焕然

33 声望 / 搬砖小组长 @ 帝都搬砖大队

填入队列中走消费模型

3年前评论

gooogle

队列+1，队列比多线程消费要稳得多，php不支持多线程，只能模拟。使用rabbitmq 开几十个监听者就可以了。

yanthink

@gooogle cli 是支持多进程的

Epona

版主 1.8k 声望 / Full Stack Developer @ Poper

这种功能都是走队列的，而不是走多线程

3年前评论

小豆

17 声望

协程

3年前评论

JerryBool

279 声望

开个队列来处理，进程数20，然后在队列里面去并发请求（并发数50）
并发请求的写法参考 guzzleHttp 文档
guzzle-cn.readthedocs.io/zh_CN/lat...

file

3年前评论

小李世界

Laravel 8.x 译者 1.9k 声望 / Doge 先锋 @ dogeow.com

简单粗暴

php arstian spider
php arstian spider
php arstian spider
php arstian spider
.......

3年前评论

李小明（楼主）

如果api中有1000条数据，如何让每个php arstian spider 执行1/10条数据呢？

小李世界（作者）

取模

曾是然

课程读者 278 声望 / Developer @ Tencent

应该不能叫多线程，可启动多个队列，进行多进程消费。

3年前评论

杨柳岸

Laravel 8.x 译者 55 声望

外层foreach写成ScheduleJob负责遍历调度，foreach 内部代码写成WorkJob负责处理工作，设置一下连接超时时间。horizon开20个进程就差不多了。

3年前评论

yanthink

455 声望

$pids[];

collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) {
    switch ($pids[] = pcntl_fork()) {
        case -1:
           die('子进程创建失败！');
        case 0:
            foreach ($chapterDetails as $chapterDetail)
            {
                if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
                {
                    $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                    $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                    Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                    $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
                }
            }
            exit;
        default:
            break;
    }
});

while (count($pids)) {
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    if ($pid === -1) {
        break;
    }
    $pids = array_filter($pids, fn($id) => $id !== $pid);
}

$this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

3年前评论

yanthink （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

hello-bug

69 声望

队列，用supervisor管理队列，可以支持多进程

3年前评论

petrichor_di

课程读者 3 声望

感觉很不错的样子

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

请问下 Laravel 7 如果使用 Command 多线程？

推荐文章：

高认可度评论：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请问下 Laravel 7 如果使用 Command 多线程？

推荐文章：

高认可度评论：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录