标签：禁止爬虫抓取

有些细心的网友会发现，我们的网站可能还没有流量或者流量不大的时候，但是有些时候会负载比较大，甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取，有些是采集蜘蛛爬取。我们是否可以通过一些技术手段屏蔽呢？这里我们使用较多的还是Ngi...

赞(0)绝无情2024-10-23运维笔记 阅读(21)去评论