想做个防爬虫的功能怎么做

  1. 后台和前端有一个相同的秘钥

  2. 想再js里面,然后通过算法,把秘钥+时间戳生成一串字符

  3. 后端也通过秘钥解密,判断是否合法

现在有几个问题

前端怎么混淆 秘钥和算法,防止别人抓取到呢,有没有类似的工具,(是bootsrtap网页)

或者有没有其他的好的方法,不要图片验证码,滑动验证码这类的

本作品采用《CC 协议》,转载必须注明作者和本文链接
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 22

让他爬吧,别折腾了 :joy:

1年前 评论
shunjian_1 1年前

把代码写的足够烂,你这一个方法调用足够多的其他方法,并且不在一个文件,并且少了谁都无法运行,然后再去混淆。可以大大提高难度。 屎山队上足够的屎后也许可以迫使敌人放弃。

1年前 评论
黑将军 1年前
linzhijun 1年前
uuus007 (作者) 1年前

这东西一个是限制单机并发数,另一个是监测到并发超限后正常返回内容,然后内容中投毒。让采集者非常费劲的才能分出是正常内容还是投毒内容就行了。80%的采集者会放弃继续。

1年前 评论

把加密或验签的算法封装到webassembly内部 编译后的二进制文件很难被逆向拆解出原本的算法

1年前 评论
douresources (楼主) 1年前
jjawesome (作者) 1年前

web防爬只能提高爬取门槛,别人想爬怎样都能爬。你说的这个方案用selenium就很容易绕过去了

1年前 评论
douresources (楼主) 1年前
leoliang (作者) 1年前
sanders
  1. 注册制授权访问
  2. 根据访问日志分析出爬虫行为
  3. 然后封账号
  4. 提高注册账号的代价,如实名认证
1年前 评论
douresources (楼主) 1年前

可能就验证码、签名加密是比较好的方法

1年前 评论
clyde-cn

内容投毒行之有效

1年前 评论
白小二

游客:ip频率限制 用户:账号频率限制 游客内容上cdn,静态化。

1年前 评论

先自定义字体文件,不是用你的字体全部显示乱码,爬虫爬出来的全是乱码文字,只有应用了你的字体文件才能正常显示,这是目前防爬技术手段比较好的方案,但在Python面前都是浮云,Python可以直接调用一个浏览器,抓取到浏览器显示的内容,这已经是要最终显示给用户看界面,所以什么都能爬取,包括spa应用

1年前 评论
巅峰互联

如果是web页面。采用 页面分配token机制,类似jwt模式。验证接口是否有效token 访问,

1年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!