关于爬虫项目遇到的问题,代理池及安全验证

今天爬取一个网站动不动就安全验证,只能停止并发,
有做过爬虫的老铁吗?
代理并发怎么做?代理池从哪来啊?

《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 11

file 这么大的广告看不到? :see_no_evil:

3年前 评论
UpGod (楼主) 3年前

人家都防止CC了,你还在爬!有用吗!哈哈

3年前 评论
UpGod (楼主) 3年前

我也有在爬某度,爬收录页面数量,需要带 Cookies,有限制频率,所以我每三天爬一次。代理 IP 有点贵。国内的还只能代理国内的 IP。

3年前 评论

代理的很多ip 都有识别,不停拨号那种人家一个 ip 段都封了,我现在用云函数还行

3年前 评论
UpGod (楼主) 3年前
木大大 3年前
lchola (作者) 3年前
lchola (作者) 3年前

用国外ip的话,我之前用过tor,可以参考下

2年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!