关于爬虫项目遇到的问题,代理池及安全验证

问答 / 0 / 11 / 创建于 3年前

今天爬取一个网站动不动就安全验证,只能停止并发,
有做过爬虫的老铁吗?
代理并发怎么做?代理池从哪来啊?

爬虫代理

UpGod

66 声望

测试 '+(new Date()).toLocaleString()+'哈哈

0 人点赞

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

推荐文章：

更多推荐...

博客

Laravel 实用小技巧 —— 如何优雅地设计方法传参？ 35 / 29 |

博客

高效办公小技巧——如何批量处理 SQL 文件？ 19 / 11 |

博客

别让这样的定时任务拖垮你的网站 24 / 30 |

博客

经过代理如何获取真实IP 及 laravel 中配置可信代理的原理 16 / 1 |

博客

[踩了个坑] Laravel 访问https网址，url('/')竟然只返回 http？ 17 / 14 |

博客

基于Hyperf + Vue + Element 构建的后台管理系统（内置聊天系统） 69 / 22 |

讨论数量: 11

诺大的院子

课程读者 329 声望

file 这么大的广告看不到？ :see_no_evil:

3年前评论

UpGod （楼主）

哈哈,怎么用啊?

dongzhiyu

130 声望

人家都防止CC了，你还在爬！有用吗！哈哈

3年前评论

UpGod （楼主）

那也得爬呀

小李世界

Laravel 8.x 译者 2.0k 声望 / Doge 先锋 @ dogeow.com

我也有在爬某度，爬收录页面数量，需要带 Cookies，有限制频率，所以我每三天爬一次。代理 IP 有点贵。国内的还只能代理国内的 IP。

3年前评论

lchola

课程读者 152 声望 / -- @ --

代理的很多ip 都有识别,不停拨号那种人家一个 ip 段都封了,我现在用云函数还行

3年前评论

UpGod （楼主）

云函数怎么用?

木大大

@UpGod 云函数，阿里云、腾讯云、华为云都有这样的服务，云函数也分地区，不得不说，楼上的大哥机智啊

lchola （作者）

@UpGod 把逻辑改成函数调用就行,我之前是把爬取逻辑用 go 放到云函数,任务分发用 laravel 的 job,然后 http 请求云函数,结果直接内网存数据库,还可以分云服务商,分地域部署,每家都有免费额度,搭建的时候组个内网,数据少的话纯白嫖还不占用服务器资源,量大就买资源包,比你买代理便宜多了,速度也不是那些垃圾代理可比的

lchola （作者）

@木大大哈哈一般一般

微加加的朋友

课程读者 115 声望

用国外ip的话，我之前用过tor，可以参考下

2年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

关于爬虫项目遇到的问题,代理池及安全验证

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

关于爬虫项目遇到的问题,代理池及安全验证

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录