关于论坛最近访问速度慢的问题。。。
论坛这段时间以来一直在被爬虫恶意爬数据,Summer 加了各种限制也不行,又不想使用强制登录影响大家的使用体验,没办法最后上了 CF。但是 CF 国内没有节点访问速度很慢,如果有 ladder 的话建议把 learnku.com 添加到代理中,这样速度就正常了。
目前也只有这个方式能避免这些恶意爬虫,后面看情况需不需要切回来。
这些爬虫主要都是来自于一些 AI 模型训练的厂商,又不遵守 robots 协议,所以目前只能是先这样。
确实有点泛滥了
如果说强制登录可以避免,建议加上,一般老用户都是注册用户
:sweat_smile: 站长置顶下帖子解释下就好了, 社区里面都在乱猜
隔壁的cnblogs也是天天募捐啥的,感觉这些没有大金主的技术论坛都不太好做
强制登录挺有必要的
waf-ce.chaitin.cn/ 这个怎么样
可以使用长亭的雷池
先禁止所有国外IP访问
要不没登陆用户就展示部分内容?
对抗爬虫实在不行给爬虫进行标记,然后生成随机内容,让他吃翔
此外就是正常用户不会翻页翻到很后,一经发现,就给它生成随机内容
您好楼主,请问一下,网站上的课程,无论是使用ladder或者是正常访问论坛,都会出现图片大量缺失的情况
防君子不防小人,再怎么限制,还是能突破防御,除非加钱。我这边的很多站点近期也是经常性被采集,三天一小挂,五天一大挂,人都麻了
主要是文档和教程这块,很影响,看看能不能独立出来呗
没有好的办法限制ai模型的爬取吗?先把ai模型的ip禁了再说
能直接起诉对方吗
爬虫 能有多少 能把网站搞成这样吗?
我能想到的几个方向,供各位讨论和参考。
用户和强制登录
1、强制用户绑定微信。
2、重点关注新用户的行为。
3、非登录用户只展示部分内容。
搜索引擎
1、针对搜索引擎的IP段放行。
2、对搜索引擎展示完整内容。
防护层面
使用WAF,比如雷池WAF等。
其实也就是需要照护搜索引擎就可以了。 如果不是各大搜索引擎的特征或者ip断就拦截。 其他需要登录就好了。除非是冒充搜索引擎 就通过ip断