运维笔记 第24页

有些细心的网友会发现，我们的网站可能还没有流量或者流量不大的时候，但是有些时候会负载比较大，甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取，有些是采集蜘蛛爬取。我们是否可以通过一些技术手段屏蔽呢？这里我们使用较多的还是Ngi...

赞(0)绝无情2024-10-23阅读(6)去评论

如果我们深入研究Nginx的功能还是蛮有意思的，比如我们前面有聊到UA可以控制爬虫限制和放行访问。我们也可以利用Nginx进行控制和限制URL、目录，以及IP地址的访问。比如有一些运维的时候，需要用到屏蔽某些IP地址，或者是我们某个目录只能...

赞(0)绝无情2024-10-23阅读(4)去评论

这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行屏蔽的，但是效果不大。 User-agent: * Disa...

赞(0)绝无情2024-10-23阅读(4)去评论

这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录，然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user...

赞(0)绝无情2024-10-23阅读(5)去评论

今天老蒋遇到网友一个网站负载比较大，然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话，可以通过一些CDN前端过滤也是可以的，同时，我们可以用Nginx设置过滤爬虫，比如用到user_agent（UA）进行过滤。在这里简单的整理几...

赞(0)绝无情2024-10-23阅读(4)去评论

这几天老蒋打算好好研究一下Nginx相关的文章，还特意前几天双十一活动图书折扣的时候买了两本书，不过看书头有点大，还不如实际操作。这不几天老蒋在研究Nginx 和 Apache WEB环境的IP并发数设置，具体简单的整理如下。 1、Ngin...

赞(0)绝无情2024-10-23阅读(4)去评论

今天上午老蒋帮助一个客户处理网站HTTP更换HTTPS SSL证书的问题。其中我们需要将原来网站的HTTP更换成HTTPS，这个是需要直接在数据库中修改两处网址的。如果我们有使用过WordPress程序的朋友应该是知道的，但是我在登录他的宝...

赞(0)绝无情2024-10-23阅读(4)去评论

前面老蒋有整理到在Nginx Web环境下如何禁止某个目录和文件的访问权限，但是我们有些朋友的服务器是用的Apache引擎，尤其是一些虚拟主机都是Apache，所以我们需要用到这个办法来解决禁止CMS程序等特定目录的办法，具体如何操作呢，这...

赞(0)绝无情2024-10-23阅读(6)去评论

由于运维工作的需要，我们需要禁止指定的IP或者IP段访问网站，于是我们可以用常见的Nginx设置，但是我们其实还可以用PHP脚本设置直接加载在我们的访问页面头部。或者我们也有可以用到Apache环境脚本如何设置的，在这里老蒋整理几个常见的设...

赞(0)绝无情2024-10-23阅读(6)去评论

这不最近由于各大CMS之前版权的之争，我们有些朋友却是通过技术手段将程序移植到其他便宜或者开源可商用免费的CMS，但是有些朋友嫌麻烦就没有转移。于是他们讲程序CMS的目录利用技术手段隐藏起来，然后前端可以看到HTML静态页面，这个不是版权范...

赞(0)绝无情2024-10-23阅读(5)去评论