拉取 100 万条微信素材列表，并存储进数据

分享 / 815 / 9 / 创建于 4年前 / 更新于 4年前 / 1 个改进

拉取100万条微信素材列表，并存储进数据，大家有什么简便的办法吗？这代码还能怎么优化

$materials = $app->material->list($type, 0); // 获取素材列表
$page = $materials['total_count'] / 20;
for ($x = 0; $x <= $page; $x++) {
    $offset = $x * 20;
    $materials = $app->material->list($type, $offset);
    collect($materials['item'])->map(function ($v) use ($platformId, $type, $user) {
        WeChatMaterial::query()
            ->updateOrCreate([
                'platform_id' => $platformId,
                'media_id' => $v['media_id'],
            ], [
                'type' => $type,
                'user_id' => $user->id,
                'name' => $v['name'],
                'update_time' => $v['update_time'],
                'url' => $v['url'],
            ]);
    });
}

Laravel 9.x 译者 50 声望

开发者 @ 开发工作室

暂无个人描述~

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

面试 POPER 的后端开发工程师的离奇经历 34 / 104 |

失业两个月找存在感系列——几行代码轻松实现laravel链式追踪，一分钟快速排查系统问题 23 / 19 |

测试用 Octane 加速 Laravel10，并发达到4倍左右，同时对比Hyperf3压力测试 20 / 25 |

百万级数据导入(hyperf+xlswriter+task+websocket) 19 / 12 |

📙《高并发的哲学原理》开源图书发布十一天 star 数已经破千！ 47 / 16 |

微信小程序、抖音小程序、百度小程序、支付宝小程序、快手小程序集合（支付、手机号解密、获取Token、模版消息、支付异步通知、退款、订单查询） 18 / 13 |

讨论数量: 9

waney

Laravel 9.x 译者 117 声望

队列啊

4年前评论

轻描淡写

课程读者 309 声望

快速入门《Laravel 6 中文文档》有个chunk方法

4年前评论

sodasix

课程读者 148 声望

100w 也不多啊, 不需要特别想办法...

4年前评论

jcc123

课程读者 443 声望 / developer @ wintercms

你这update能把数据库拉垮吧。批量插入，insert 会好点

4年前评论

pikalu

184 声望

$startId = 0;
$limit   = 20;
while (true) {
    $materials = $app->material->list($type, $startId); // 获取素材列表
    if (empty($materials) || empty($materials['item'])) {
        break;
    }
    foreach ($materials['item'] as $k => $v) {
        WeChatMaterial::query()
            ->updateOrCreate([
                'platform_id' => $platformId,
                'media_id'    => $v['media_id'],
            ], [
                'type'        => $type,
                'user_id'     => $user->id,
                'name'        => $v['name'],
                'update_time' => $v['update_time'],
                'url'         => $v['url'],
            ]);
    }
    $startId = $startId + $limit;
    usleep(200);
}

以上，如果是我写这段逻辑，会这样写，欢迎交流

4年前评论

Epona

版主 1.8k 声望 / Full Stack Developer @ Poper

用队列会好一点吧。

4年前评论

waney

Laravel 9.x 译者 117 声望

100w这么操作你就等着哭吧，何况还有外部请求微信接口，还要操作数据库。
我之前做了批量拉取粉丝。
用队列，并且分块，批量插入等。

4年前评论

SonyXbox

课程读者 42 声望 / 小班 @ 幼儿园

用MQ

4年前评论

sunnykevin

Laravel 8.x 译者 46 声望 / 总裁 @ 博凯集团

数据库操作使用批量插入和更新，这样玩会崩的，看你有使用 updateOrCreate 这个方法，是想判断是否存在然后进行更新或新增，建议不要写在循环内部，写在外部，然后用其他方式进行判断后批量处理。

4年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

50 声望

开发者 @ 开发工作室

纠错改进

成为赞助商