有没有一种接口加密算法,可以提高爬虫爬取的难度?

学过爬虫的同学都知道,有些网站的数据是非常好爬取的,但是有些网站会有很多个加密的参数,这些参数不对的话接口是调用不通的。
有没有对这块比较了解的同学,我们想着把我们的接口做个加密算法。一般都是所有参数排序一下然后再加密生成一个sign,但是感觉这种也挺好破解的。

《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 11

我有个想法不知可行不,用flutter做网站,编译之后全是canvas,看爬虫怎么爬

5个月前 评论
博学多才的走停 5个月前

加个时间戳,随机n-m分钟有效

5个月前 评论

一般来说只要数据到了客户端,都是可以爬去的,因为数据是要展示的,但是接口可以做一些限制

5个月前 评论

都返回图片 ,而且图片是拼接的那种 及时爬了基本上也解析不了

5个月前 评论

前后端不分离,然后加一个和现在站点一样的东西

5个月前 评论

签名有key啊,保护好key就行

5个月前 评论
sanders

签名破解的方法就是找到秘钥,也就是你传递秘钥的过程如果被人抓到了那就完了。之前用此法搞过某东麾下的某个小站,因为他们很别扭的把秘钥埋在 cookie 的某一段,再用脚本解出来后进行签名,然而他们有这个逻辑脚本竟然明目张胆的叫 xxx_encrypt 。

但是某宝系的站点就没有成功过,至今没有一次找到他们的秘钥埋在哪。比较接近的一次是10年前挖千牛 app 的秘钥,已经反编译了他的安卓代码,但获取秘钥的方法被动态函数库挡住了,就没有再深究。

5个月前 评论

网线一拔,看你咋爬。

其他都只是上难度的问题。

5个月前 评论

抖音都能根据地址抓取信息。可以定期变更规则加大爬取难度,但是这样不也是增大工作量吗

5个月前 评论

根据你流量设置一个限制,让他们爬的慢死就会放弃

4个月前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!