关于爬虫项目遇到的问题,代理池及安全验证

问答 / 188 / 11 / 创建于 2年前

今天爬取一个网站动不动就安全验证,只能停止并发,
有做过爬虫的老铁吗?
代理并发怎么做?代理池从哪来啊?

爬虫代理

UpGod

66 声望

测试 '+(new Date()).toLocaleString()+'哈哈

0 人点赞

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

推荐文章：

更多推荐...

博客

高效办公小技巧——如何批量处理 SQL 文件？ 19 / 10 |

博客

经过代理如何获取真实IP 及 laravel 中配置可信代理的原理 16 / 1 |

博客

[踩了个坑] Laravel 访问https网址，url('/')竟然只返回 http？ 16 / 14 |

博客

基于Hyperf + Vue + Element 构建的后台管理系统（内置聊天系统） 68 / 21 |

博客

在 Laravel 中编写简洁的代码的策略 14 / 59 |

博客

Nginx代理同域名前后端分离项目 31 / 6 |

讨论数量: 11

诺大的院子

课程读者 322 声望

file 这么大的广告看不到？ :see_no_evil:

2年前评论

UpGod （楼主）

哈哈,怎么用啊?

dongzhiyu

129 声望

人家都防止CC了，你还在爬！有用吗！哈哈

2年前评论

UpGod （楼主）

那也得爬呀

小李世界

Laravel 8.x 译者 1.9k 声望 / Doge 先锋 @ dogeow.com

我也有在爬某度，爬收录页面数量，需要带 Cookies，有限制频率，所以我每三天爬一次。代理 IP 有点贵。国内的还只能代理国内的 IP。

2年前评论

lchola

课程读者 148 声望 / -- @ --

代理的很多ip 都有识别,不停拨号那种人家一个 ip 段都封了,我现在用云函数还行

2年前评论

UpGod （楼主）

云函数怎么用?

木大大

@UpGod 云函数，阿里云、腾讯云、华为云都有这样的服务，云函数也分地区，不得不说，楼上的大哥机智啊

lchola （作者）

@UpGod 把逻辑改成函数调用就行,我之前是把爬取逻辑用 go 放到云函数,任务分发用 laravel 的 job,然后 http 请求云函数,结果直接内网存数据库,还可以分云服务商,分地域部署,每家都有免费额度,搭建的时候组个内网,数据少的话纯白嫖还不占用服务器资源,量大就买资源包,比你买代理便宜多了,速度也不是那些垃圾代理可比的

lchola （作者）

@木大大哈哈一般一般

微加加的朋友

课程读者 71 声望

用国外ip的话，我之前用过tor，可以参考下

1年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

关于爬虫项目遇到的问题,代理池及安全验证

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

关于爬虫项目遇到的问题,代理池及安全验证

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录