最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

分享 / 381 / 12 / 创建于 3个月前

看了下百度统计，网站只有百来个IP和一百多的UV和PV，内容也不怎更新，但是天天爬，googlebot/bingbot/360bot/baidubot/semrushbot，一天给个干5000+记录，尤其是这个semrush,框框请求啊，所有的加起来都没它多

公司另外一个几千IP/UV的我没加这个统计，我估计加上得十几万记录了每天，有没有什么好的办法拦截这些非必要的爬虫，我网站正常只加了百度统计的代码，4核8G8M带宽打开有时候卡卡的

ljheisenberg

课程读者 187 声望

暂无个人描述~

0 人点赞

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

推荐文章：

更多推荐...

博客

冯老师的困惑 —— 一个跑了两年的 BUG 19 / 16 |

试用 Laravel + 树莓派搭建视频监控，并支持线上访问 25 / 19 |

博客

你好，InnoCMS：一个 Laravel 社区老员的开源建站之旅 34 / 49 |

博客

手摸手带你使用 docker-compose 编排一个开发环境 18 / 15 |

用钉钉提醒 Laravel 11 异常：一个简单的实现 11 / 8 |

博客

乐融沃多商户商城现已完全开源 10 / 16 |

讨论数量: 12

working

版主 2.3k 声望

分析特征过滤啊(屏蔽国外ip)，robots文件修改啊(防君子)

3个月前评论

ljheisenberg （楼主）

打开robots文件，突然发现laravel项目默认所有都开放啊:joy: ，这个分析特征过滤是从laravel层面还是通过nginx操作，没处理过

working （作者）

@ljheisenberg nginx层最好

ab0029

101 声望

安全组屏蔽下

3个月前评论

ljheisenberg （楼主）

是在服务器上添加安全组IP黑名单还是什么意思

浮心

@ljheisenberg 你服务器哪买的，如果是阿里后台都有配置安全组之类的

ljheisenberg （楼主）

@浮心腾讯云，我的安全组默认就是打开一些443端口啥的，其他的好像没看到

浮心

@ljheisenberg 那就不清楚了

Alone88

116 声望

最简单，nginx 屏蔽相关的 ua

3个月前评论

ljheisenberg （楼主）

好主意，看来要把这个SemrushBot给屏蔽了，有一半是它，是这样不location / { if ($http_user_agent ~* (SemrushBot|Dotbot)) {return 403;}}

php_yt

@ljheisenberg 有ua特征，这样就行

她来听我的演唱会

Laravel 9.x 译者 604 声望

ngnix防火墙，搞一个ip黑名单，写个脚本，设置规则例如1秒请求超过3次就加入黑名单；结合装一个Fail2ban，设置规则，两个基本够用了。宝塔里就有。

3个月前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

最近给网站加了一个HTTP访问统计中间件，发现一堆Bot

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录