关于爬虫项目遇到的问题,代理池及安全验证

今天爬取一个网站动不动就安全验证,只能停止并发,
有做过爬虫的老铁吗?
代理并发怎么做?代理池从哪来啊?

《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
讨论数量: 11

file 这么大的广告看不到? :see_no_evil:

2年前 评论
UpGod (楼主) 2年前

人家都防止CC了,你还在爬!有用吗!哈哈

2年前 评论
UpGod (楼主) 2年前

我也有在爬某度,爬收录页面数量,需要带 Cookies,有限制频率,所以我每三天爬一次。代理 IP 有点贵。国内的还只能代理国内的 IP。

2年前 评论

代理的很多ip 都有识别,不停拨号那种人家一个 ip 段都封了,我现在用云函数还行

2年前 评论
UpGod (楼主) 2年前
木大大 2年前
lchola (作者) 2年前
lchola (作者) 2年前

用国外ip的话,我之前用过tor,可以参考下

1年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!