标签：Nginx 过滤爬虫

今天老蒋遇到网友一个网站负载比较大，然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话，可以通过一些CDN前端过滤也是可以的，同时，我们可以用Nginx设置过滤爬虫，比如用到user_agent（UA）进行过滤。在这里简单的整理几...

赞(0)绝无情2024-10-23运维笔记 阅读(25)去评论