想做个防爬虫的功能怎么做

  1. 后台和前端有一个相同的秘钥

  2. 想再js里面,然后通过算法,把秘钥+时间戳生成一串字符

  3. 后端也通过秘钥解密,判断是否合法

现在有几个问题

前端怎么混淆 秘钥和算法,防止别人抓取到呢,有没有类似的工具,(是bootsrtap网页)

或者有没有其他的好的方法,不要图片验证码,滑动验证码这类的

本作品采用《CC 协议》,转载必须注明作者和本文链接
《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 22

让他爬吧,别折腾了 :joy:

1年前 评论
shunjian_1 1年前

web防爬只能提高爬取门槛,别人想爬怎样都能爬。你说的这个方案用selenium就很容易绕过去了

1年前 评论
douresources (楼主) 1年前
leoliang (作者) 1年前

把代码写的足够烂,你这一个方法调用足够多的其他方法,并且不在一个文件,并且少了谁都无法运行,然后再去混淆。可以大大提高难度。 屎山队上足够的屎后也许可以迫使敌人放弃。

1年前 评论
黑将军 1年前
linzhijun 1年前
uuus007 (作者) 1年前

这东西一个是限制单机并发数,另一个是监测到并发超限后正常返回内容,然后内容中投毒。让采集者非常费劲的才能分出是正常内容还是投毒内容就行了。80%的采集者会放弃继续。

1年前 评论
sanders
  1. 注册制授权访问
  2. 根据访问日志分析出爬虫行为
  3. 然后封账号
  4. 提高注册账号的代价,如实名认证
1年前 评论
douresources (楼主) 1年前

可能就验证码、签名加密是比较好的方法

1年前 评论
clyde-cn

内容投毒行之有效

1年前 评论
白小二

游客:ip频率限制 用户:账号频率限制 游客内容上cdn,静态化。

1年前 评论

先自定义字体文件,不是用你的字体全部显示乱码,爬虫爬出来的全是乱码文字,只有应用了你的字体文件才能正常显示,这是目前防爬技术手段比较好的方案,但在Python面前都是浮云,Python可以直接调用一个浏览器,抓取到浏览器显示的内容,这已经是要最终显示给用户看界面,所以什么都能爬取,包括spa应用

1年前 评论
巅峰互联

如果是web页面。采用 页面分配token机制,类似jwt模式。验证接口是否有效token 访问,

1年前 评论

把加密或验签的算法封装到webassembly内部 编译后的二进制文件很难被逆向拆解出原本的算法

1年前 评论
douresources (楼主) 1年前
jjawesome (作者) 1年前

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!