拉取 100 万条微信素材列表,并存储进数据
拉取100万条微信素材列表,并存储进数据,大家有什么简便的办法吗?这代码还能怎么优化
$materials = $app->material->list($type, 0); // 获取素材列表
$page = $materials['total_count'] / 20;
for ($x = 0; $x <= $page; $x++) {
$offset = $x * 20;
$materials = $app->material->list($type, $offset);
collect($materials['item'])->map(function ($v) use ($platformId, $type, $user) {
WeChatMaterial::query()
->updateOrCreate([
'platform_id' => $platformId,
'media_id' => $v['media_id'],
], [
'type' => $type,
'user_id' => $user->id,
'name' => $v['name'],
'update_time' => $v['update_time'],
'url' => $v['url'],
]);
});
}
队列啊
快速入门《Laravel 6 中文文档》 有个
chunk
方法100w 也不多啊, 不需要特别想办法...
你这update能把数据库拉垮吧。批量插入,insert 会好点
以上,如果是我写这段逻辑,会这样写,欢迎交流
用队列会好一点吧。
100w这么操作你就等着哭吧,何况还有外部请求微信接口,还要操作数据库。
我之前做了批量拉取粉丝。
用队列,并且分块,批量插入等。
用MQ
数据库操作使用批量插入和更新,这样玩会崩的,看你有使用 updateOrCreate 这个方法,是想判断是否存在然后进行更新或新增,建议不要写在循环内部,写在外部,然后用其他方式进行判断后批量处理。