标签：运维笔记 第12页

今天早上老蒋收到一封来自腾讯云的安全邮件提醒。提示是有检测到存在待处理的应用漏洞Sudo 本地提权漏洞 (CVE-2021-3156)。遇到这个问题我们肯定是要去解决的，我大概率估计是可能镜像用的比较久没有升级导致的，这台服务器我已经有用到...

赞(0)绝无情2024-10-23运维笔记 阅读(16)去评论

有些细心的网友会发现，我们的网站可能还没有流量或者流量不大的时候，但是有些时候会负载比较大，甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取，有些是采集蜘蛛爬取。我们是否可以通过一些技术手段屏蔽呢？这里我们使用较多的还是Ngi...

赞(0)绝无情2024-10-23运维笔记 阅读(25)去评论

如果我们深入研究Nginx的功能还是蛮有意思的，比如我们前面有聊到UA可以控制爬虫限制和放行访问。我们也可以利用Nginx进行控制和限制URL、目录，以及IP地址的访问。比如有一些运维的时候，需要用到屏蔽某些IP地址，或者是我们某个目录只能...

赞(0)绝无情2024-10-23运维笔记 阅读(20)去评论

这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行屏蔽的，但是效果不大。 User-agent: * Disa...

赞(0)绝无情2024-10-23运维笔记 阅读(17)去评论

这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录，然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user...

赞(0)绝无情2024-10-23运维笔记 阅读(18)去评论

今天老蒋遇到网友一个网站负载比较大，然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话，可以通过一些CDN前端过滤也是可以的，同时，我们可以用Nginx设置过滤爬虫，比如用到user_agent（UA）进行过滤。在这里简单的整理几...

赞(0)绝无情2024-10-23运维笔记 阅读(21)去评论

这几天老蒋打算好好研究一下Nginx相关的文章，还特意前几天双十一活动图书折扣的时候买了两本书，不过看书头有点大，还不如实际操作。这不几天老蒋在研究Nginx 和 Apache WEB环境的IP并发数设置，具体简单的整理如下。 1、Ngin...

赞(0)绝无情2024-10-23运维笔记 阅读(21)去评论

今天上午老蒋帮助一个客户处理网站HTTP更换HTTPS SSL证书的问题。其中我们需要将原来网站的HTTP更换成HTTPS，这个是需要直接在数据库中修改两处网址的。如果我们有使用过WordPress程序的朋友应该是知道的，但是我在登录他的宝...

赞(0)绝无情2024-10-23运维笔记 阅读(23)去评论

前面老蒋有整理到在Nginx Web环境下如何禁止某个目录和文件的访问权限，但是我们有些朋友的服务器是用的Apache引擎，尤其是一些虚拟主机都是Apache，所以我们需要用到这个办法来解决禁止CMS程序等特定目录的办法，具体如何操作呢，这...

赞(0)绝无情2024-10-23运维笔记 阅读(18)去评论

由于运维工作的需要，我们需要禁止指定的IP或者IP段访问网站，于是我们可以用常见的Nginx设置，但是我们其实还可以用PHP脚本设置直接加载在我们的访问页面头部。或者我们也有可以用到Apache环境脚本如何设置的，在这里老蒋整理几个常见的设...

赞(0)绝无情2024-10-23运维笔记 阅读(22)去评论