标签：Nginx屏蔽搜索蜘蛛

这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行屏蔽的，但是效果不大。 User-agent: * Disa...

赞(0)绝无情2024-10-23运维笔记 阅读(16)去评论