关于论坛最近访问速度慢的问题。。。

论坛这段时间以来一直在被爬虫恶意爬数据,Summer 加了各种限制也不行,又不想使用强制登录影响大家的使用体验,没办法最后上了 CF。但是 CF 国内没有节点访问速度很慢,如果有 ladder 的话建议把 learnku.com 添加到代理中,这样速度就正常了。

目前也只有这个方式能避免这些恶意爬虫,后面看情况需不需要切回来。

这些爬虫主要都是来自于一些 AI 模型训练的厂商,又不遵守 robots 协议,所以目前只能是先这样。

悲观者永远正确,乐观者永远前行。
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 24

确实有点泛滥了

Uploading file...

4个月前 评论

如果说强制登录可以避免,建议加上,一般老用户都是注册用户

4个月前 评论
Runtoweb3 4个月前
JaguarJack

:sweat_smile: 站长置顶下帖子解释下就好了, 社区里面都在乱猜

4个月前 评论

隔壁的cnblogs也是天天募捐啥的,感觉这些没有大金主的技术论坛都不太好做

4个月前 评论
wxf666 4个月前
ononl 4个月前

强制登录挺有必要的

4个月前 评论

可以使用长亭的雷池

4个月前 评论

先禁止所有国外IP访问

4个月前 评论

要不没登陆用户就展示部分内容?

对抗爬虫实在不行给爬虫进行标记,然后生成随机内容,让他吃翔

此外就是正常用户不会翻页翻到很后,一经发现,就给它生成随机内容

4个月前 评论
MArtian (楼主) 4个月前

您好楼主,请问一下,网站上的课程,无论是使用ladder或者是正常访问论坛,都会出现图片大量缺失的情况

file,请问有什么解决办法吗,有些课程之前买了没有观看,现在想要学习都没办法,是否可以提供购买记录后论坛直接将课程的内容以html或者什么其他的方式发给我,这个问题真的很需要解决

4个月前 评论
QIN秦同学 4个月前

防君子不防小人,再怎么限制,还是能突破防御,除非加钱。我这边的很多站点近期也是经常性被采集,三天一小挂,五天一大挂,人都麻了

4个月前 评论

主要是文档和教程这块,很影响,看看能不能独立出来呗

4个月前 评论
MArtian (楼主) 4个月前

没有好的办法限制ai模型的爬取吗?先把ai模型的ip禁了再说

4个月前 评论

能直接起诉对方吗

4个月前 评论

爬虫 能有多少 能把网站搞成这样吗?

4个月前 评论
MArtian (楼主) 4个月前

我能想到的几个方向,供各位讨论和参考。

用户和强制登录

1、强制用户绑定微信。

2、重点关注新用户的行为。

3、非登录用户只展示部分内容。

搜索引擎

1、针对搜索引擎的IP段放行。

2、对搜索引擎展示完整内容。

防护层面

使用WAF,比如雷池WAF等。

4个月前 评论

其实也就是需要照护搜索引擎就可以了。 如果不是各大搜索引擎的特征或者ip断就拦截。 其他需要登录就好了。除非是冒充搜索引擎 就通过ip断

4个月前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!