拉取 100 万条微信素材列表,并存储进数据

拉取100万条微信素材列表,并存储进数据,大家有什么简便的办法吗?这代码还能怎么优化

$materials = $app->material->list($type, 0); // 获取素材列表
$page = $materials['total_count'] / 20;
for ($x = 0; $x <= $page; $x++) {
    $offset = $x * 20;
    $materials = $app->material->list($type, $offset);
    collect($materials['item'])->map(function ($v) use ($platformId, $type, $user) {
        WeChatMaterial::query()
            ->updateOrCreate([
                'platform_id' => $platformId,
                'media_id' => $v['media_id'],
            ], [
                'type' => $type,
                'user_id' => $user->id,
                'name' => $v['name'],
                'update_time' => $v['update_time'],
                'url' => $v['url'],
            ]);
    });
}
黄威
《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
讨论数量: 9

100w 也不多啊, 不需要特别想办法...

11个月前 评论
jcc123

你这update能把数据库拉垮吧。批量插入,insert 会好点

11个月前 评论
$startId = 0;
$limit   = 20;
while (true) {
    $materials = $app->material->list($type, $startId); // 获取素材列表
    if (empty($materials) || empty($materials['item'])) {
        break;
    }
    foreach ($materials['item'] as $k => $v) {
        WeChatMaterial::query()
            ->updateOrCreate([
                'platform_id' => $platformId,
                'media_id'    => $v['media_id'],
            ], [
                'type'        => $type,
                'user_id'     => $user->id,
                'name'        => $v['name'],
                'update_time' => $v['update_time'],
                'url'         => $v['url'],
            ]);
    }
    $startId = $startId + $limit;
    usleep(200);
}

以上,如果是我写这段逻辑,会这样写,欢迎交流

11个月前 评论
Epona

用队列会好一点吧。

11个月前 评论

100w这么操作你就等着哭吧,何况还有外部请求微信接口,还要操作数据库。
我之前做了批量拉取粉丝。
用队列,并且分块,批量插入等。

11个月前 评论

用MQ

11个月前 评论

数据库操作使用批量插入和更新,这样玩会崩的,看你有使用 updateOrCreate 这个方法,是想判断是否存在然后进行更新或新增,建议不要写在循环内部,写在外部,然后用其他方式进行判断后批量处理。

11个月前 评论

请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!