使用scrapy遇到用户连接超时, 但是我使用fiddler时有看到响应

环境

  • windows10
  • python3.6.8
  • scrapy2.6.3

问题

我的scrapy爬虫刚开始没有问题,发送了大概1000个请求后开始出现用户连接超时的错误,之后正常响应就很少了, 但是我重新启动爬虫的话, 它就又只能发送1000个左右的请求

  • 以下是错误截图

使用scrapy遇到用户连接超时, 但是我使用fiddler时有看到响应

  • 而且当我使用fiddler查看python的错误请求时, 可以看到它的是正常的

使用scrapy遇到用户连接超时, 但是我使用fiddler时有看到响应

  • 而scrapy是以下错误

使用scrapy遇到用户连接超时, 但是我使用fiddler时有看到响应

==希望有人可以告诉我这是什么原因造成的, 或者说有什么办法可以解决吗==

讨论数量: 2

修改了ua么

9个月前 评论
sunny__ (楼主) 9个月前

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!