请问下 Laravel 7 如果使用 Command 多线程？

$chapterDetail[‘img’],是远程同步图片地址，但是数据大约200W条挨条处理是在太慢！服务器16H 32G 8T 硬件没有任何问题！请问下如何写多线程！要不然200w条数据同步2个月时间太长了

  /*同步内容图片*/
        ini_set('memory_limit', '-1');
        foreach (ChapterDetail::all() as $chapterDetail)
        {
            if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
            {
            $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
            }
        }
        $this->info('全部图片同步完成');

李小明

课程读者 237 声望

保持好奇，刻意学习，每日精进

3 人点赞

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

pingfan

457 声望

最佳答案

$pids[];

collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) {
    switch ($pids[] = pcntl_fork()) {
        case -1:
           die('子进程创建失败！');
        case 0:
            foreach ($chapterDetails as $chapterDetail)
            {
                if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
                {
                    $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                    $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                    Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                    $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
                }
            }
            exit;
        default:
            break;
    }
});

while (count($pids)) {
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    if ($pid === -1) {
        break;
    }
    $pids = array_filter($pids, fn($id) => $id !== $pid);
}

$this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

4年前评论

pingfan （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

讨论数量: 11

pingfan

457 声望

$pids[];

collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) {
    switch ($pids[] = pcntl_fork()) {
        case -1:
           die('子进程创建失败！');
        case 0:
            foreach ($chapterDetails as $chapterDetail)
            {
                if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
                {
                    $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                    $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                    Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                    $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
                }
            }
            exit;
        default:
            break;
    }
});

while (count($pids)) {
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    if ($pid === -1) {
        break;
    }
    $pids = array_filter($pids, fn($id) => $id !== $pid);
}

$this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

4年前评论

pingfan （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

gooogle

14 声望

写个http接口，入参为同步的数组索引范围。然后用Java（Thread+HttpClient）或者php（curl_multi）写个多线程接口调用，模拟100个并发线程即可。本身宿主机若用php-fpm，需要开启100个以上的子进程。

4年前评论

李小明（楼主）

感谢您的回答！这个方法有些复杂！我新手无法实现！

蔺焕然

33 声望 / 搬砖小组长 @ 帝都搬砖大队

填入队列中走消费模型

4年前评论

gooogle

队列+1，队列比多线程消费要稳得多，php不支持多线程，只能模拟。使用rabbitmq 开几十个监听者就可以了。

pingfan

@gooogle cli 是支持多进程的

Epona

版主 1.8k 声望 / Full Stack Developer @ Poper

这种功能都是走队列的，而不是走多线程

4年前评论

doudoubeibei

19 声望

协程

4年前评论

JerryBool

283 声望

开个队列来处理，进程数20，然后在队列里面去并发请求（并发数50）
并发请求的写法参考 guzzleHttp 文档
guzzle-cn.readthedocs.io/zh_CN/lat...

file

4年前评论

小李世界

Laravel 8.x 译者 2.0k 声望 / Doge 先锋 @ dogeow.com

简单粗暴

php arstian spider
php arstian spider
php arstian spider
php arstian spider
.......

4年前评论

李小明（楼主）

如果api中有1000条数据，如何让每个php arstian spider 执行1/10条数据呢？

小李世界（作者）

取模

曾是然

课程读者 279 声望 / Developer @ Tencent

应该不能叫多线程，可启动多个队列，进行多进程消费。

4年前评论

杨柳岸

Laravel 8.x 译者 55 声望

外层foreach写成ScheduleJob负责遍历调度，foreach 内部代码写成WorkJob负责处理工作，设置一下连接超时时间。horizon开20个进程就差不多了。

4年前评论

pingfan

457 声望

$pids[];

collect(ChapterDetail::all())->chunk(10000)->each(function($chapterDetails) {
    switch ($pids[] = pcntl_fork()) {
        case -1:
           die('子进程创建失败！');
        case 0:
            foreach ($chapterDetails as $chapterDetail)
            {
                if (strpos($chapterDetail['img'],'http://')===0 || strpos($chapterDetail['img'],'https://')===0)
                {
                    $getChapterDetailPicUrlPicUrl = Http::get($chapterDetail['img'])->body();
                    $chapterDetailPicUrl='/images/'.now()->timestamp.rand(000000000,999999999).'.jpg';
                    Storage::disk('public')->put($chapterDetailPicUrl,$getChapterDetailPicUrlPicUrl);
                    $chapterDetail->update(['img'=>'/storage/'.$chapterDetailPicUrl]);
                }
            }
            exit;
        default:
            break;
    }
});

while (count($pids)) {
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    if ($pid === -1) {
        break;
    }
    $pids = array_filter($pids, fn($id) => $id !== $pid);
}

$this->info('全部图片同步完成');

pcntl_fork 方法只能在 cli 下运行

4年前评论

pingfan （作者）

不过这种还是建议用队列去处理会比较好

李小明（楼主）

非常感谢您！你连代码都帮我写好了！很容易实现！

hello-bug

69 声望

队列，用supervisor管理队列，可以支持多进程

4年前评论

petrichor_di

课程读者 3 声望

感觉很不错的样子

4年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

请问下 Laravel 7 如果使用 Command 多线程？

高认可度评论：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请问下 Laravel 7 如果使用 Command 多线程？

高认可度评论：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录