写了一个单协程爬虫,循环1万条post请求提示500 Internal Server Error,如何解决?

问答 / 0 / 18 / 创建于 3年前 / 更新于 3年前 / 1 个改进

这是一个单线程的爬虫:
前端用ajax提交,
后端循环1万条post请求提示500 Internal Server Error,如何解决?
感觉是请求执行超时,挂载8分钟左右就报500;如果能把8分钟改成6小时也行,去哪里改参数我也不知道
小白一个,大佬别喷
如果不能改时间,是否还有其他的解决方法,欢迎讨论!
办法约简单越好,哈哈.

7分钟以前执行正常,也都循环每条成功,7-8分钟左右就报500了,程序就不再继续循环,蹦掉!

爬虫单线程请求超时500

63523812

6 声望

暂无个人描述~

0 人点赞

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

推荐文章：

更多推荐...

博客

冯老师的困惑 —— 一个跑了两年的 BUG 19 / 16 |

分享创造

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 101 / 98 |

面试 POPER 的后端开发工程师的离奇经历 38 / 104 |

博客

一个延时任务问题引发的思考 29 / 16 |

博客

别让这样的定时任务拖垮你的网站 24 / 30 |

问答

已完结了 15 / 15 |

GeorgeKing

L5.7 译者 761 声望

最佳答案

首先 HTTP 服务器的反向代理需要设置超时时间，其次是 PHP-FPM 的 Worker 需要设置最大之行时间。你用的 HTTP 貌似不是 Nginx 这里无法给出配置，PHP-FPM 可以通过配置 request_terminate_timeout 设置超时时间。

建议可以通过队列来实现任务的处理，再安装个 Horizon 监控任务的执行情况。

3年前评论

63523812 （楼主）

如果是Nginx就设置request_terminate_timeout 超时时间是吗

GeorgeKing （作者）

@63523812 nginx 需要设置proxy_read_timeout proxy_connect_timeout proxy_send_timeout

63523812 （楼主）

这几个参数在那个文件里设置啊,我用的集成环境phpstudy,想把时间调到6小时,具体设置成多少数值啊

GeorgeKing （作者）

@63523812

location ~ \.php {
    include fastcgi_params;
    fastcgi_pass   php:9000;
    proxy_read_timeout 120;
    proxy_connect_timeout 120;
    proxy_send_timeout 120;
    fastcgi_read_timeout 120;
    fastcgi_send_timeout 120;
    fastcgi_connect_timeout 120;
    fastcgi_index  index.php;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
}

这些设置超时的参数可以在 http、server、location 配置块中设置！

63523812 （楼主）

http、server、location在其中一个配置块里设置好就行了吧!不用全部都设置一遍吧!

GeorgeKing （作者）

不用全部设置

63523812 （楼主）

由于项目时间紧,不想用队列,不过总算用你的方法成功了,谢谢!有时间了再改成队列吧!再次感谢!也感谢这个平台!

讨论数量: 18

GeorgeKing

L5.7 译者 761 声望

首先 HTTP 服务器的反向代理需要设置超时时间，其次是 PHP-FPM 的 Worker 需要设置最大之行时间。你用的 HTTP 貌似不是 Nginx 这里无法给出配置，PHP-FPM 可以通过配置 request_terminate_timeout 设置超时时间。

建议可以通过队列来实现任务的处理，再安装个 Horizon 监控任务的执行情况。

3年前评论

63523812 （楼主）

如果是Nginx就设置request_terminate_timeout 超时时间是吗

GeorgeKing （作者）

@63523812 nginx 需要设置proxy_read_timeout proxy_connect_timeout proxy_send_timeout

63523812 （楼主）

这几个参数在那个文件里设置啊,我用的集成环境phpstudy,想把时间调到6小时,具体设置成多少数值啊

GeorgeKing （作者）

@63523812

location ~ \.php {
    include fastcgi_params;
    fastcgi_pass   php:9000;
    proxy_read_timeout 120;
    proxy_connect_timeout 120;
    proxy_send_timeout 120;
    fastcgi_read_timeout 120;
    fastcgi_send_timeout 120;
    fastcgi_connect_timeout 120;
    fastcgi_index  index.php;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
}

这些设置超时的参数可以在 http、server、location 配置块中设置！

63523812 （楼主）

http、server、location在其中一个配置块里设置好就行了吧!不用全部都设置一遍吧!

GeorgeKing （作者）

不用全部设置

63523812 （楼主）

由于项目时间紧,不想用队列,不过总算用你的方法成功了,谢谢!有时间了再改成队列吧!再次感谢!也感谢这个平台!

lininin

课程读者 1 声望

guzzle并发访问请求,1w请求服务器性能够的话一分钟内

3年前评论

63523812 （楼主）

我是响应超时,不是请求超时,不是高并发的问题,是后端循环还没有执行完,前端接收不到才报错的

lininin （作者）

@63523812 你后端不是循环1w次请求吗？这1w次不能同时执行吗？

63523812 （楼主）

1w次不能同时运行啊大哥

Icy

Laravel 8.x 译者 153 声望

一楼说的那些参数，你自己在 nginx.config 里面去修改。

3年前评论

63523812 （楼主）

nginx.config里没有找到他说那三个参数啊

raybon

Laravel 8.x 译者 339 声望 / php @ 远程

前端一个接口请求后端的脚本，脚本内处理10000 个请求这种，前端即使设置了很长的超时时间，也不是很可靠，体验也不好，如果数据是按照分页形式递进抓取，建议提前脚本入库做中间缓存，在做下一步处理，前端分页读取

3年前评论

chowjiawei

Laravel 8.x 译者 1.4k 声望 / 测开 @ 新大陆数字技术股份有限公司

循环每次100个就行了配置里面的超时时间最好不要去改改也不要改非常长

3年前评论

勇敢的心

见习助教 847 声望

建议用cli模式

3年前评论

putyy

140 声望

ajax创建任务异步去处理散同步处理这种玩意始终不合理

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

写了一个单协程爬虫,循环1万条post请求提示500 Internal Server Error,如何解决?

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

写了一个单协程爬虫,循环1万条post请求 提示500 Internal Server Error,如何解决?

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录

写了一个单协程爬虫,循环1万条post请求提示500 Internal Server Error,如何解决?