最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

分享 / 381 / 12 / 创建于 4个月前

看了下百度统计，网站只有百来个IP和一百多的UV和PV，内容也不怎更新，但是天天爬，googlebot/bingbot/360bot/baidubot/semrushbot，一天给个干5000+记录，尤其是这个semrush,框框请求啊，所有的加起来都没它多

公司另外一个几千IP/UV的我没加这个统计，我估计加上得十几万记录了每天，有没有什么好的办法拦截这些非必要的爬虫，我网站正常只加了百度统计的代码，4核8G8M带宽打开有时候卡卡的

ljheisenberg

课程读者 187 声望

暂无个人描述~

0 人点赞

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

博客

用 Laravel12 Startkit 做了一个 composer 私有包托管平台 😂 点赞超过 20 个开源，看看需要的人多不多 25 / 16 |

博客

冯老师的困惑 —— 一个跑了两年的 BUG 19 / 16 |

试用 Laravel + 树莓派搭建视频监控，并支持线上访问 26 / 19 |

博客

你好，InnoCMS：一个 Laravel 社区老员的开源建站之旅 34 / 51 |

博客

手摸手带你使用 docker-compose 编排一个开发环境 18 / 15 |

用钉钉提醒 Laravel 11 异常：一个简单的实现 11 / 8 |

讨论数量: 12

working

版主 2.3k 声望

分析特征过滤啊(屏蔽国外ip)，robots文件修改啊(防君子)

4个月前评论

ljheisenberg （楼主）

打开robots文件，突然发现laravel项目默认所有都开放啊:joy: ，这个分析特征过滤是从laravel层面还是通过nginx操作，没处理过

working （作者）

@ljheisenberg nginx层最好

ab0029

101 声望

安全组屏蔽下

4个月前评论

ljheisenberg （楼主）

是在服务器上添加安全组IP黑名单还是什么意思

浮心

@ljheisenberg 你服务器哪买的，如果是阿里后台都有配置安全组之类的

ljheisenberg （楼主）

@浮心腾讯云，我的安全组默认就是打开一些443端口啥的，其他的好像没看到

浮心

@ljheisenberg 那就不清楚了

Alone88

116 声望

最简单，nginx 屏蔽相关的 ua

4个月前评论

ljheisenberg （楼主）

好主意，看来要把这个SemrushBot给屏蔽了，有一半是它，是这样不location / { if ($http_user_agent ~* (SemrushBot|Dotbot)) {return 403;}}

php_yt

@ljheisenberg 有ua特征，这样就行

她来听我的演唱会

Laravel 9.x 译者 604 声望

ngnix防火墙，搞一个ip黑名单，写个脚本，设置规则例如1秒请求超过3次就加入黑名单；结合装一个Fail2ban，设置规则，两个基本够用了。宝塔里就有。

4个月前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录