记录在Nginx环境将不同的爬虫指向不同的后端
这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录,然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user...
这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录,然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user...
今天老蒋遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如用到user_agent(UA)进行过滤。在这里简单的整理几...
这几天老蒋打算好好研究一下Nginx相关的文章,还特意前几天双十一活动图书折扣的时候买了两本书,不过看书头有点大,还不如实际操作。这不几天老蒋在研究Nginx 和 Apache WEB环境的IP并发数设置,具体简单的整理如下。 1、Ngin...
今天上午老蒋帮助一个客户处理网站HTTP更换HTTPS SSL证书的问题。其中我们需要将原来网站的HTTP更换成HTTPS,这个是需要直接在数据库中修改两处网址的。如果我们有使用过WordPress程序的朋友应该是知道的,但是我在登录他的宝...
前面老蒋有整理到在Nginx Web环境下如何禁止某个目录和文件的访问权限,但是我们有些朋友的服务器是用的Apache引擎,尤其是一些虚拟主机都是Apache,所以我们需要用到这个办法来解决禁止CMS程序等特定目录的办法,具体如何操作呢,这...
由于运维工作的需要,我们需要禁止指定的IP或者IP段访问网站,于是我们可以用常见的Nginx设置,但是我们其实还可以用PHP脚本设置直接加载在我们的访问页面头部。或者我们也有可以用到Apache环境脚本如何设置的,在这里老蒋整理几个常见的设...
这不最近由于各大CMS之前版权的之争,我们有些朋友却是通过技术手段将程序移植到其他便宜或者开源可商用免费的CMS,但是有些朋友嫌麻烦就没有转移。于是他们讲程序CMS的目录利用技术手段隐藏起来,然后前端可以看到HTML静态页面,这个不是版权范...
如果我们有选择的是国外云服务器,老蒋习惯的是安装Ubuntu18.04镜像,但是在安装软件的时候速度比较慢,主要因为是系统源是服务器商家自带的国外源。我们可以将换成国内的源,速度会提高不少。在这里,我们可以选择这四个Ubuntu 18.04...
这里老蒋在一台服务器中有配置三个IP地址,这里我需要单独配置才可以使用。以前有在Ubuntu16.04中配置过,但是现在18.04系统镜像和之前版本是稍微不同的。这里简单记录2个版本,一个是直接配置后可用的,一个是需要重启服务器才可以生效的...
一般情况下,我们的普通业务估计用不到MongoDB数据库,这不今天老蒋也是第一次接触这个数据库,需要将这个数据库先关闭后处理维护。因为没有遇到过,所以需要找文章看到底用什么命令关闭。于是,整理几个MongoDB关闭数据库服务的方法整理。 第...