月度归档：2018年01月

CentOS7 配置iptables，关闭默认防火墙

一、防火墙配置

1、检测并关闭系统默认的防火墙firewall

[plain] view plain copy

  1. systemctl status firewalld.service #检测是否开启了firewall  
  2. systemctl stop firewalld.service #关闭firewall  
  3. sytsemctl disable firewalld.service #关闭禁止firewall开机自启  

2、检测并安装iptables

[plain] view plain copy

  1. yum install iptables-services  

将规则写入iptables配置文件

[plain] view plain copy

  1. vim /etc/sysconfig/iptables  

iptables文件内容：

[plain] view plain copy

  1. *filter  
  2. :INPUT ACCEPT [0:0]  
  3. :FORWARD ACCEPT [0:0]  
  4. :OUTPUT ACCEPT [0:0]  
  5. -A INPUT -m state –state RELATED,ESTABLISHED -j ACCEPT  
  6. -A INPUT -p icmp -j ACCEPT  
  7. -A INPUT -i lo -j ACCEPT  
  8. -A INPUT -p tcp -m state –state NEW -m tcp –dport 22 -j ACCEPT  
  9. -A INPUT -p tcp -m state –state NEW -m tcp –dport 80 -j ACCEPT  
  10. -A INPUT -p tcp -m state –state NEW -m tcp –dport 8080 -j ACCEPT   
  11. -A INPUT -j REJECT –reject-with icmp-host-prohibited  
  12. -A FORWARD -j REJECT –reject-with icmp-host-prohibited  
  13. COMMIT  

重启iptable服务：

[plain] view plain copy

  1. systemctl restart iptables.service  

使iptable服务开机自启：

[plain] view plain copy

  1. systemctl enable iptables.service　　  

二、关闭SELINUX

[plain] view plain copy

  1. vim /etc/selinux/config  

修改为：

[plain] view plain copy

  1. #SELINUX=enforcing #注释掉  
  2.   
  3. #SELINUXTYPE=targeted #注释掉  
  4.   
  5. SELINUX=disabled #增加  

使配置立即生效：

[plain] view plain copy

  1. setenforce 0   

Nginx模块GeoIP查询IP所在国家、城市，查询某个ip位置

地理位置数据在业务中有重要作用，这些数据可以用于向某些人群推广品牌、产品或服务，还有助于增强用户体验。
本文讲述仅通过配置Nginx加上GeoIP MaxMind数据库，就能获得用户IP地址的实际物理位置，而无需编写任何代码。
Nginx是一个开源的HTTP和IMAP/POP3代理服务器，主要用作Web服务器或反向代理服务器。Nginx的GeoIP模块（即ngx_http_geoip_module）使用了预编译的MaxMind数据库来设置变量，比如变量geoipcountryname、变量geoip_country_code、变量$geoip_city等等，而这些值则取决于用户客户端的访问地址。

Nginx可配合GeoIP模块定位IP所在物理位置并做相应处理，支持多个条件匹配：

#http://www.haiyun.me
$geoip_country_code #国家代码2位，如CN
$geoip_country_code3 #国家代码3位，如CHN
$geoip_country_name #国家完整名称，如China
$geoip_region #所在地区
$geoip_city #所在城市，如BeiJing
$geoip_postal_code #邮政编码
$geoip_city_continent_code #所在洲，如AS
$geoip_latitude #纬度
$geoip_longitude #经度

编译安装Nginx并添加GeoIP模块：

yum install geoip-devel #安装GeoIP解析库
wget http://nginx.org/download/nginx-1.0.15.tar.gz
tar zxvf nginx-1.0.15.tar.gz
cd nginx-1.0.15
 ./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module \
--with-http_ssl_module --with-http_gzip_static_module --with-ipv6 --with-http_geoip_module
make
make install

下载GeoIP城市国家数据库：

#http://www.haiyun.me
mkdir -p /usr/local/nginx/geoip
cd /usr/local/nginx/geoip
wget http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
gunzip GeoIP.dat.gz
gunzip GeoLiteCity.dat.gz

编辑Nginx配置文件加载GeoIP数据库：

http
    [...]
geoip_country  /usr/local/nginx/geoip/GeoIP.dat; #国家数据库
geoip_city     /usr/local/nginx/geoip/GeoLiteCity.dat; #城市数据库
[...]

如需Nginx传递变量给PHP，编辑fastcgi_params添加：

fastcgi_param GEOIP_CITY_COUNTRY_CODE $geoip_city_country_code;
fastcgi_param GEOIP_CITY_COUNTRY_CODE3 $geoip_city_country_code3;
fastcgi_param GEOIP_CITY_COUNTRY_NAME $geoip_city_country_name;
fastcgi_param GEOIP_REGION $geoip_region;
fastcgi_param GEOIP_CITY $geoip_city;
fastcgi_param GEOIP_POSTAL_CODE $geoip_postal_code;
fastcgi_param GEOIP_CITY_CONTINENT_CODE $geoip_city_continent_code;
fastcgi_param GEOIP_LATITUDE $geoip_latitude;
fastcgi_param GEOIP_LONGITUDE $geoip_longitude;

应用示例，Nginx判断如果访问者IP所在国家为美国或中国，返回404错误

server
    [...]
                if ($geoip_country_code ~* (US|CN)) {
                #return 404;
                }
[...]

新建PHP程序测试GeoIP: 

<html>
<head>
 <title>IP地址检测，我的IP地址是多少？</title>
 <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
</head>
<body>
<?php
    if (getenv(HTTP_X_FORWARDED_FOR)) {
        $pipaddress = getenv(HTTP_X_FORWARDED_FOR);
        $ipaddress = getenv(REMOTE_ADDR);
        echo "<br>您的代理IP地址是: ".$pipaddress. " (via $ipaddress) " ;
    } else {
        $ipaddress = getenv(REMOTE_ADDR);
        echo "<br>您的IP地址是 : $ipaddress";
    }
  $geoip_city_country_code = getenv(GEOIP_CITY_COUNTRY_CODE);
  $geoip_city_country_code3 = getenv(GEOIP_CITY_COUNTRY_CODE3);
  $geoip_city_country_name = getenv(GEOIP_CITY_COUNTRY_NAME);
  $geoip_region = getenv(GEOIP_REGION);
  $geoip_city = getenv(GEOIP_CITY);
  $geoip_postal_code = getenv(GEOIP_POSTAL_CODE);
  $geoip_city_continent_code = getenv(GEOIP_CITY_CONTINENT_CODE);
  $geoip_latitude = getenv(GEOIP_LATITUDE);
  $geoip_longitude = getenv(GEOIP_LONGITUDE);
  echo "<br>国家 : $geoip_city_country_name ( $geoip_city_country_code3 , $geoip_city_country_code ) ";
  echo "<br>地区 :  $geoip_region";
  echo "<br>城市 :  $geoip_city ";
  echo "<br>邮政编码 :  $geoip_postal_code";
  echo "<br>所在洲 :  $geoip_city_continent_code";
  echo "<br>纬度 :  $geoip_latitude ";
  echo "<br>经度 :   $geoip_longitude ";
 
?>
</body>
</html>

如果要查询某个IP属于哪个国家地区。

http://pecl.php.net/get/geoip-1.1.1.tgz

php需要增加这个扩展。

tar -zxvf geoip-1.1.1.tgz

cd geoip-1.1.1

/usr/local/php/bin/phpize  

./configure –with-php-config=/usr/local/php/bin/php-config 

make

make install

 vi /usr/local/php/etc/php.ini

增加extension=geoip.so

详细使用geoip扩展参考

http://php.net/manual/zh/book.geoip.php

Redis Bgrewriteaof 命令 – 异步执行一个 AOF（AppendOnly File） 文件重写操作

Redis Bgrewriteaof 命令用于异步执行一个 AOF（AppendOnly File） 文件重写操作。重写会创建一个当前 AOF 文件的体积优化版本。

即使 Bgrewriteaof 执行失败，也不会有任何数据丢失，因为旧的 AOF 文件在 Bgrewriteaof 成功之前不会被修改。

注意：从 Redis 2.4 开始， AOF 重写由 Redis 自行触发， BGREWRITEAOF 仅仅用于手动触发重写操作。

语法

redis Bgrewriteaof 命令基本语法如下： 

	
    
		
		
  1. 
			redis 127.0.0.1:6379> BGREWRITEAOF 
		
    2.

可用版本

>= 1.0.0

返回值

反馈信息。

实例

	
    
		
		
  1. 
			redis 127.0.0.1:6379>
		
    2. 

		
  2. 
			Background append only file rewriting started
		
    3.

Redis Save 与 BGSAVE 的区别

一，save保存数据到磁盘的方式：

Redis Save 命令执行一个同步保存操作，将当前 Redis 实例的所有数据快照(snapshot)以 RDB 文件的形式保存到硬盘。

语法
redis Save 命令基本语法如下：

redis 127.0.0.1:6379> SAVE

返回值

保存成功时返回 OK 。

 

二，BGSAVE保存数据到磁盘的方式：

BGSAVE 命令执行之后立即返回 OK ，然后 Redis fork 出一个新子进程，原来的 Redis 进程(父进程)继续处理客户端请求，而子进程则负责将数据保存到磁盘，然后退出。

客户端可以通过 LASTSAVE 命令查看相关信息，判断 BGSAVE 命令是否执行成功。

 

时间复杂度：

O(N)， N 为要保存到数据库中的 key 的数量。

案例：

redis> BGSAVE
Background saving started

 

 

三，结论

SAVE  保存是阻塞主进程，客户端无法连接redis，等SAVE完成后，主进程才开始工作，客户端可以连接

BGSAVE  是fork一个save的子进程，在执行save过程中，不影响主进程，客户端可以正常链接redis，等子进程fork执行save完成后，通知主进程，子进程关闭。很明细BGSAVE方式比较适合线上的维护操作，两种方式的使用一定要了解清楚在谨慎选择。

1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。

 

2.Master AOF持久化，如果不重写AOF文件，这个持久化方式对性能的影响是最小的，但是AOF文件会不断增大，AOF文件过大会影响Master重启的恢复速度。

 

3.Master调用BGREWRITEAOF重写AOF文件，AOF在重写的时候会占大量的CPU和内存资源，导致服务load过高，出现短暂服务暂停现象。

下面是我的一个实际项目的情况，大概情况是这样的：一个Master，4个Slave，没有Sharding机制，仅是读写分离，Master负责写入操作和AOF日志备份，AOF文件大概5G，Slave负责读操作，当Master调用BGREWRITEAOF时，Master和Slave负载会突然陡增，Master的写入请求基本上都不响应了，持续了大概5分钟，Slave的读请求过也半无法及时响应，Master和Slave的服务器负载图如下：

 

Master Server load：

 

Slave server load： 

 

上面的情况本来不会也不应该发生的，是因为以前Master的这个机器是Slave，在上面有一个shell定时任务在每天的上午10点调用BGREWRITEAOF重写AOF文件，后来由于Master机器down了，就把备份的这个Slave切成Master了，但是这个定时任务忘记删除了，就导致了上面悲剧情况的发生，原因还是找了几天才找到的。

 

将no-appendfsync-on-rewrite的配置设为yes可以缓解这个问题，设置为yes表示rewrite期间对新写操作不fsync，暂时存在内存中，等rewrite完成后再写入。最好是不开启Master的AOF备份功能。

 

4.Redis主从复制的性能问题，第一次Slave向Master同步的实现是：Slave向Master发出同步请求，Master先dump出rdb文件，然后将rdb文件全量传输给slave，然后Master把缓存的命令转发给Slave，初次同步完成。第二次以及以后的同步实现是：Master将变量的快照直接实时依次发送给各个Slave。不管什么原因导致Slave和Master断开重连都会重复以上过程。Redis的主从复制是建立在内存快照的持久化基础上，只要有Slave就一定会有内存快照发生。虽然Redis宣称主从复制无阻塞，但由于磁盘io的限制，如果Master快照文件比较大，那么dump会耗费比较长的时间，这个过程中Master可能无法响应请求，也就是说服务会中断，对于关键服务，这个后果也是很可怕的。

 

以上1.2.3.4根本问题的原因都离不开系统io瓶颈问题，也就是硬盘读写速度不够快，主进程 fsync()/write() 操作被阻塞。

 

5.单点故障问题，由于目前Redis的主从复制还不够成熟，所以存在明显的单点故障问题，这个目前只能自己做方案解决，如：主动复制，Proxy实现Slave对Master的替换等，这个也是Redis作者目前比较优先的任务之一，作者的解决方案思路简单优雅，详情可见
Redis Sentinel design draft http://redis.io/topics/sentinel-spec。

 

总结：

1.Master最好不要做任何持久化工作，包括内存快照和AOF日志文件，特别是不要启用内存快照做持久化。

2.如果数据比较关键，某个Slave开启AOF备份数据，策略为每秒同步一次。

3.为了主从复制的速度和连接的稳定性，Slave和Master最好在同一个局域网内。

4.尽量避免在压力较大的主库上增加从库

5.为了Master的稳定性，主从复制不要用图状结构，用单向链表结构更稳定，即主从关系为：Master<–Slave1<–Slave2<–Slave3…….，这样的结构也方便解决单点故障问题，实现Slave对Master的替换，也即，如果Master挂了，可以立马启用Slave1做Master，其他不变。