宝塔面板Nginx通过User-Agent禁止爬虫采集并返回炸弹

在loc看到的，Caddy有个http.nobots。可以直接给特定UA返回特定的数据。比如1G压缩一次就剩1M，压两次就3k。

对于服务器的话就是发送了1M的文件，恶意程序请求后会自动解包为1G的数据，可以对爬虫程序等造成很大的压力。

塔宝塔服务器面板，一键全能部署及管理，送你3188元礼包，点我领取https://www.bt.cn/?invite_code=MV9ub2NxdmI=

1、新建一个PHP文件

1）如果你准备用在自己的网站上，那么需要进入宝塔的网站根目录新建一个新的php文件，比如booo.php

2）右键点击编辑，复制如下代码。

文章加密，密码获取，可加tg获取。入群后直接输入：禁止爬虫采集

tg：https://t.me/rssbig

tg群：https://t.me/joinchat/SKct5jFnL_PUvCFr

[password key=daol]

<?phpheader('Content-Encoding: gzip');$filename ="./1G.gzip";$str_ing = file_get_contents($filename);echo $str_ing;

2、生成1G.gzip文件

在Linux中，使用以下命令，这确实很容易生产。

dd if=/dev/zero bs=1M count=1024 | gzip > 1G.gzipdd if=/dev/zero bs=1M count=10240 | gzip > 10G.gzipdd if=/dev/zero bs=1M count=1048576 | gzip > 1T.gzip

还是在网站的根目录生成这个文件，和看图：

注意，php文件和 1G.gzip都放在你的网站根目录。

3、Nginx添加配置

可以在nginx添加如下配置。代码如下：

location / {  #UA 1G.gzip  if ($http_user_agent ~* "(ua1|ua2)") {    rewrite ^/.*  /booo.php last;  }}

注意：

• 修改(ua1|ua2)为恶意UA列表
• 修改/booo.php为你的booo.php路径

4、宝塔的配置

如果我们是wordpress程序，基本上都已经配置好了伪静态，那么可以直接在伪静态中粘贴如下代码即可。

 if ($http_user_agent ~* "(ua1|ua2)") {    rewrite ^/.*  /booo.php last;  }

宝塔的具体放置 看图：

[/password]

5、最后

额，很新奇的方法，不过爬虫变成随机UA即可绕过。

参考：https://hostloc.com/thread-831697-1-1.html