有没有一种接口加密算法,可以提高爬虫爬取的难度?

学过爬虫的同学都知道,有些网站的数据是非常好爬取的,但是有些网站会有很多个加密的参数,这些参数不对的话接口是调用不通的。
有没有对这块比较了解的同学,我们想着把我们的接口做个加密算法。一般都是所有参数排序一下然后再加密生成一个 sign,但是感觉这种也挺好破解的。

《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 11

我有个想法不知可行不,用 flutter 做网站,编译之后全是 canvas,看爬虫怎么爬

3个月前 评论
博学多才的走停 3个月前

加个时间戳,随机 n-m 分钟有效

3个月前 评论

一般来说只要数据到了客户端,都是可以爬去的,因为数据是要展示的,但是接口可以做一些限制

3个月前 评论

都返回图片 ,而且图片是拼接的那种 及时爬了基本上也解析不了

3个月前 评论

前后端不分离,然后加一个和现在站点一样的东西

3个月前 评论

签名有 key 啊,保护好 key 就行

3个月前 评论
sanders

签名破解的方法就是找到秘钥,也就是你传递秘钥的过程如果被人抓到了那就完了。之前用此法搞过某东麾下的某个小站,因为他们很别扭的把秘钥埋在 cookie 的某一段,再用脚本解出来后进行签名,然而他们有这个逻辑脚本竟然明目张胆的叫 xxx_encrypt 。

但是某宝系的站点就没有成功过,至今没有一次找到他们的秘钥埋在哪。比较接近的一次是 10 年前挖千牛 app 的秘钥,已经反编译了他的安卓代码,但获取秘钥的方法被动态函数库挡住了,就没有再深究。

3个月前 评论

网线一拔,看你咋爬。

其他都只是上难度的问题。

3个月前 评论

抖音都能根据地址抓取信息。可以定期变更规则加大爬取难度,但是这样不也是增大工作量吗

3个月前 评论

根据你流量设置一个限制,让他们爬的慢死就会放弃

3个月前 评论