最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

分享 / 383 / 12 / 创建于 1年前

看了下百度统计，网站只有百来个IP和一百多的UV和PV，内容也不怎更新，但是天天爬，googlebot/bingbot/360bot/baidubot/semrushbot，一天给个干5000+记录，尤其是这个semrush,框框请求啊，所有的加起来都没它多

公司另外一个几千IP/UV的我没加这个统计，我估计加上得十几万记录了每天，有没有什么好的办法拦截这些非必要的爬虫，我网站正常只加了百度统计的代码，4核8G8M带宽打开有时候卡卡的

ljheisenberg

课程读者 187 声望

暂无个人描述~

0 人点赞

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

讨论数量: 12

working

版主 2.3k 声望

分析特征过滤啊(屏蔽国外ip)，robots文件修改啊(防君子)

1年前评论

ljheisenberg （楼主）

打开robots文件，突然发现laravel项目默认所有都开放啊:joy: ，这个分析特征过滤是从laravel层面还是通过nginx操作，没处理过

working （作者）

@ljheisenberg nginx层最好

ab0029

101 声望

安全组屏蔽下

1年前评论

ljheisenberg （楼主）

是在服务器上添加安全组IP黑名单还是什么意思

浮心

@ljheisenberg 你服务器哪买的，如果是阿里后台都有配置安全组之类的

ljheisenberg （楼主）

@浮心腾讯云，我的安全组默认就是打开一些443端口啥的，其他的好像没看到

浮心

@ljheisenberg 那就不清楚了

Alone88

118 声望

最简单，nginx 屏蔽相关的 ua

1年前评论

ljheisenberg （楼主）

好主意，看来要把这个SemrushBot给屏蔽了，有一半是它，是这样不location / { if ($http_user_agent ~* (SemrushBot|Dotbot)) {return 403;}}

php_yt

@ljheisenberg 有ua特征，这样就行

她来听我的演唱会

Laravel 9.x 译者 615 声望

ngnix防火墙，搞一个ip黑名单，写个脚本，设置规则例如1秒请求超过3次就加入黑名单；结合装一个Fail2ban，设置规则，两个基本够用了。宝塔里就有。

1年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录