有没有一种接口加密算法,可以提高爬虫爬取的难度?

学过爬虫的同学都知道,有些网站的数据是非常好爬取的,但是有些网站会有很多个加密的参数,这些参数不对的话接口是调用不通的。
有没有对这块比较了解的同学,我们想着把我们的接口做个加密算法。一般都是所有参数排序一下然后再加密生成一个sign,但是感觉这种也挺好破解的。

《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 11

我有个想法不知可行不,用flutter做网站,编译之后全是canvas,看爬虫怎么爬

4个月前 评论
博学多才的走停 4个月前

加个时间戳,随机n-m分钟有效

4个月前 评论

一般来说只要数据到了客户端,都是可以爬去的,因为数据是要展示的,但是接口可以做一些限制

4个月前 评论

都返回图片 ,而且图片是拼接的那种 及时爬了基本上也解析不了

4个月前 评论

前后端不分离,然后加一个和现在站点一样的东西

4个月前 评论

签名有key啊,保护好key就行

4个月前 评论
sanders

签名破解的方法就是找到秘钥,也就是你传递秘钥的过程如果被人抓到了那就完了。之前用此法搞过某东麾下的某个小站,因为他们很别扭的把秘钥埋在 cookie 的某一段,再用脚本解出来后进行签名,然而他们有这个逻辑脚本竟然明目张胆的叫 xxx_encrypt 。

但是某宝系的站点就没有成功过,至今没有一次找到他们的秘钥埋在哪。比较接近的一次是10年前挖千牛 app 的秘钥,已经反编译了他的安卓代码,但获取秘钥的方法被动态函数库挡住了,就没有再深究。

4个月前 评论

网线一拔,看你咋爬。

其他都只是上难度的问题。

4个月前 评论

抖音都能根据地址抓取信息。可以定期变更规则加大爬取难度,但是这样不也是增大工作量吗

4个月前 评论

根据你流量设置一个限制,让他们爬的慢死就会放弃

4个月前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!