curl 存储数据量过大导致 operation timed out

问答 / 1342 / 1 / 创建于 6年前

通过curl抓取数据然后存储到本地数据库，因为数据量过大导致操作超时

自定义command命令执行，也修改了php.ini和php-fpm.conf ，但是还是会报错

Laravel 5.8 译者 2 声望

一直在路上，，，，，

《L05 电商实战》

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

《L02 从零构建论坛系统》

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

推荐文章：

更多推荐...

面试 POPER 的后端开发工程师的离奇经历 35 / 104 |

高效办公小技巧——如何批量处理 SQL 文件？ 19 / 10 |

百万级数据导入(hyperf+xlswriter+task+websocket) 19 / 12 |

📙《高并发的哲学原理》开源图书发布十一天 star 数已经破千！ 47 / 16 |

Visit：为人类制作网络请求的 CLI 工具（类 CURL） 11 / 1 |

每天新增8640w数据，怎么存储比较好 21 / 50 |

讨论数量: 1

巴啦啦

课程读者 206 声望 / 宇宙游民 @ 地球村

'因为数据量过大导致操作超时',贴上你的代码及你所说的数据量会让你的问题更加清晰。目前来看可以简单的分为两部分耗时操作，第一是抓取，第二是写入。你贴了代码，并且将这两部分耗时打印出来会更好。

6年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助