月度归档：2018年02月

shell处理mysql增、删、改、查sql语句结果

这几天做一个任务，比对两个数据表中的数据，昨天用PHP写了一个版本，但考虑到有的机器没有php或者php没有编译mysql扩展，就无法使用mysql系列的函数，脚本就无效了，今天写个shell版本的，这样，在所有linux系列机器上就都可以运行了。

 

    shell操作mysql其实就是通过mysql命令通过参数去执行语句，跟其他程序里面是一样的，看看下面这个参数： 

-e, --execute=name  Execute command and quit. (Disables --force and history file.)

因此我们可以通过mysql -e来执行语句，就像下面这样： 

mysql -hlocalhost -P3306 -uroot -p123456 $test --default-character-set=utf8 -e "select * from users"

执行之后返回下面结果：

在shell脚本中操作mysql

导出数据

MYSQL="mysql -h192.168.1.102 -uroot -p123456 --default-character-set=utf8 -A -N" #这里面有两个参数，-A、-N，-A的含义是不去预读全部数据表信息，这样可以解决在数据表很多的时候卡死的问题 #-N，很简单，Don't write column names in results，获取的数据信息省去列名称
sql="select * from test.user"
result="$($MYSQL -e "$sql")"

dump_data=./data.user.txt
>$dump_data
echo -e "$result" > $dump_data #这里要额外注意，echo -e "$result" > $dump_data的时候一定要加上双引号，不让导出的数据会挤在一行 #下面是返回的测试数据 3       吴彦祖 32 5       王力宏 32 6       ab 32 7       黄晓明 33 8       anonymous 32

插入数据

#先看看要导入的数据格式，三列，分别是id，名字，年龄（数据是随便捏造的），放入data.user.txt
12 tf 23
13 米勒 24
14 西安电子科技大学 90
15 西安交大 90
16 北京大学 90 #OLF_IFS=$IFS #IFS="," #临时设置默认分隔符为逗号
cat data.user.txt | while read id name age do
    sql="insert into test.user(id, name, age) values(${id}, '${name}', ${age});" $MYSQL -e "$sql" done

输出结果 

+----+--------------------------+-----+
| id | name                     | age |
+----+--------------------------+-----+
| 12 | tf                       | 23 |
| 13 | 米勒                       | 24 |
| 14 | 西安电子科技大学     | 90 |
| 15 | 西安交大                 | 90 |
| 16 | 北京大学                 | 90 |
+----+--------------------------+-----+

更新数据

#先看看更新数据的格式，将左边一列替换为右边一列，只有左边一列的删除，下面数据放入update.user.txt
tf twoFile
西安电子科技大学 西军电
西安交大 西安交通大学
北京大学

cat update.user.txt | while read src dst do if [ ! -z "${src}" -a ! -z "${dst}" ] then
        sql="update test.user set name='${dst}' where name='${src}'" fi if [ ! -z "${src}" -a -z "${dst}" ] then
        sql="delete from test.user where name='${src}'" fi $MYSQL -e "$sql" done

输出结果： 

+----+--------------------------+-----+
| id | name                     | age |
+----+--------------------------+-----+
| 12 | twoFile                  | 23 |
| 13 | 米勒                       | 24 |
| 14 | 西军电          | 90 |
| 15 | 西安交通大学           | 90 |
+----+--------------------------+-----+

dump数据到sql文件

#利用mysqldump这个命令可以很轻松的导出所有数据的sql语句到指定文件 #导出root@localhost下面的exp.Opes中的所有数据到tt.sql
mysqldump -h localhost -u root -p exp Opes > ./tt.sql #回车之后输入密码就可以将所有sql语句输出到tt.sql

导入数据到mysql数据库

#设置编码，不然可能出现乱码
mysql -hlocalhost -uroot --default-character-set=gbk -p exp< ./tt.sql #回车之后输入密码，导入tt.sql中的所有数据到exp数据库中

Nginx负载均衡的优缺点

Nginx的优点是：
1、工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构，它的正则规则比HAProxy更为强大和灵活，这也是它目前广泛流行的主要原因之一，Nginx单凭这点可利用的场合就远多于LVS了。
2、Nginx对网络稳定性的依赖非常小，理论上能ping通就就能进行负载功能，这个也是它的优势之一；相反LVS对网络稳定性依赖比较大，这点本人深有体会；
3、Nginx安装和配置比较简单，测试起来比较方便，它基本能把错误用日志打印出来。LVS的配置、测试就要花比较长的时间了，LVS对网络依赖比较大。
3、可以承担高负载压力且稳定，在硬件不差的情况下一般能支撑几万次的并发量，负载度比LVS相对小些。
4、Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点，不过其中缺点就是不支持url来检测。比如用户正在上传一个文件，而处理该上传的节点刚好在上传过程中出现故障，Nginx会把上传切到另一台服务器重新处理，而LVS就直接断掉了，如果是上传一个很大的文件或者很重要的文件的话，用户可能会因此而不满。
5、Nginx不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的Web应用服务器。LNMP也是近几年非常流行的web架构，在高流量的环境中稳定性也很好。
6、Nginx现在作为Web反向加速缓存越来越成熟了，速度比传统的Squid服务器更快，可以考虑用其作为反向代理加速器。
7、Nginx可作为中层反向代理使用，这一层面Nginx基本上无对手，唯一可以对比Nginx的就只有lighttpd了，不过lighttpd目前还没有做到Nginx完全的功能，配置也不那么清晰易读，社区资料也远远没Nginx活跃。
8、Nginx也可作为静态网页和图片服务器，这方面的性能也无对手。还有Nginx社区非常活跃，第三方模块也很多。
淘宝的前端使用的Tengine就是基于nginx做的二次开发定制版。
  Nginx的缺点是：
1、Nginx仅能支持http、https和Email协议，这样就在适用范围上面小些，这个是它的缺点。
2、对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。不支持Session的直接保持，但能通过ip_hash来解决。

Nginx下利用rewrite实现强制跳转https

Nginx下利用rewrite实现强制跳转https

if ($scheme = http) {
rewrite ^(.*) https://$server_name$1 permanent;
}

以上代码直接放入主机给的rewrite规则中即可，其中

scheme #HTTP的方法(如http，https)

$1 permanent #规则为http://domains/xxx 跳转到https://domains/xxx

项目前期使用http，后期为了安全方面的考虑，启用了https。

项目架构：前端使用nginx作为多个tomcat实例的反向代理和负载均衡。

实际上只需要在nginx上启用https即可，使客户端与nginx之后使用https方式通信，而nginx与tomcat之间依然以http方式通信。

现在需要将之前客户端所有的http请求全部都自动重定向为https，只需要在nginx上添加相应配置即可。

如下配置实现来源于Nginx HTTP 跳转至 HTTPS，但是我都实践验证过。

另外，也加入了一些自己的理解整理而成。

方式1：使用rewrite指令

server {
    listen 80;
    server_name domain.com;
    rewrite ^(.*) https://$server_name$1 permanent;
}
server {
    listen 443 ssl;
    server_name domain.com;
    ssl on;
    ssl_certificate     /etc/nginx/ssl/domain.com.crt;
    ssl_certificate_key /etc/nginx/ssl/domain.com.crt;
    # other
}

如果此时nginx作为Tomcat的前端反向代理的话，需要将相应配置放在配置ssl的server块中。

方式2：使用return指令

server {
    listen 80;
    server_name domain.com;
    return 301 https://$server_name$request_uri;
}
server {
    listen 443 ssl;
    server_name domain.com;
    ssl on;
    ssl_certificate     /etc/nginx/ssl/domain.com.crt;
    ssl_certificate_key /etc/nginx/ssl/domain.com.crt;
    # other
}

如果此时nginx作为Tomcat的前端反向代理的话，需要将相应配置放在配置ssl的server块中。

方式三：使用error_page指令

只允许HTTP来访问时，用HTTP访问会让Nginx报497错误，然后利用error_page将链接重定向至HTTPS上。 

server {
    listen 80;
    listen 443 ssl;
    server_name domain.com;
    ssl on;
    ssl_certificate     /etc/nginx/ssl/domain.com.crt; 
    ssl_certificate_key /etc/nginx/ssl/domain.com.crt;
    # other
    error_page 497 https://$server_name$request_uri;
}

使用error_page指令时，将http和https的监听配置写在同一个server块中，对应的其他配置也需要在该server配置块中完成。

需要注意的是，此时需要将error_page指令语句写在最后，否则不能生效。

深入分析HTTP状态码502（nginx+php-fpm）

我们的一个web项目，由于新上城市增多，导致访问量增大，DB压力增大，作为提供接口的业务方，最近被下游反馈大量请求“502”。

502，bad gateway，一般都是upstream（这里就是php）出错，对于php，造成502的原因常见的就是脚本执行超过timeout设置时间，或者timeout设置过大，导致php进程长时间不能被释放，没有空闲worker进程来接客。

我们的项目就是php执行时间设置过短导致的，对于这种情况，可以先适当增大php的执行时间，先保证清除502，优化的事情毕竟要花更多的时间。

控制php执行时间的选项有两个，在php.ini中 max_execution_time 和php-fpm中 request_terminate_timeout，其中 request_terminate_timeout 可以覆盖 max_execution_time，所以如果不想改全局的php.ini，那只改php-fpm的配置就可以了。

 

下边我就来详细的分析一下为什么php脚本执行超出设置时间会导致nginx返回502。

先来布景，让问题复现：

nginx和php分别只启动一个worker，方便追踪。

php-fpm的request_terminate_timeout设置为3S。

测试脚本test.php 

sleep(20); echo 'ok';

go go go：

在浏览器访问www.v.com/test.php，3S后如期出现…404？？？what？？？

出师不利啊，赶紧看看nginx的配置文件

这个location配置是当发生5xx错误时跳转到一个好看点的界面，但是我在/usr/share/nginx/html下并没有50x.html这个文件。所以搞了个404出来。这不是很影响我判断问题的准确性？直接注释掉！再次访问，等待3S，终于’正常’的界面出来了。

 

环境好了，下边就上套路，按照web问题的排查套路走一遍，先看看错误日志吧：

nginx:

报错都是 recv() failed (104: Connection reset by peer。

recv时失败了，连接被重置了。为啥连接被重置了？难道一言不合。

我们在看看php-fpm的错误日志：

（注意php-fpm中php_admin_value[error_log]选项指定php的错误日志，会覆盖php.ini中的。但是这里不是看php的错误，而是看php-fpm的错误。php-fpm的错误日志由php-fpm.conf中的error_log选项指定。）

每一次请求都是产生2个WARNING和1个NOTICE：

WARNING：脚本执行超时了，终止了。

WARNING：子进程收到SIGTERM信号退出了。

NOTICE：启了一个新的子进程（因为我设置的pm.min_spare_servers = 1）

看来如果php的worker进程执行超时，不仅终止脚本执行，而且worker进程也会退出。看来nginx的报错连接被重置是因为php的worker进程退出了（在TCP连接中一方如果断掉的话会发送RST给另一方）

 

通过日志已经可以知道php脚本执行超时，worker子进程退出，导致nginx报错Connection reset by peer，下边我们通过strace来看看php和nginx的情况：

php：

1.accept一个nginx的连接请求（socket，bind，listen都在master中完成 ），可以看到nginx的端口是47039，从FD0中读取数据，就是从标准输入中，这个是fast-cgi协议规定的。accept之后的已连接描述符是3。

2.从FD3中读取nginx传递过来的数据，fastcgi协议格式，接收了856字节。为什么read5次呢？

因为fastcgi协议数据包是8字节对齐，由包头和包体组成。并且都是会先发一个request数据包，包含一些请求ID，版本，typpe等信息（包头包体各占8字节），再发一个params数据包，传递get参数和环境变量（包头8字节，包体变长），最后发送一个没有包体只有包头的params数据包，表示参数发送结束（包头8字节）。所以前3个read用来读出request包的包头和包体，还有params包的包头，第四个read是读取真正的数据，最后一个read是读取最后一个params包的包头。所以nginx传递的数据应该是8+8+8+856+8=896字节（和下边nginx的传输bytes能对应上）。注意如果是post方式，还会发送stdin数据包。

3.设置休眠20S，就是php程序中的sleep(20)，之后由于进程被终止了，所以后边就没啦。strace程序也退出啦。

nginx：

1.accept到浏览器的请求，可以看到浏览器端的端口是56434，IP是192.168.1.105，已建立连接的FD是3。

2.从FD3中接收数据，HTTP协议。

3.创建一个socket，FD21，用于和php建立连接。

4.连接到FD21，可以看到连接的是本机的9000端口，这里nginx和php-fpm使用IP socket连接方式，nginx和php-fpm部署在一台机器上可以考虑unix domain socket。

5.向FD21写入数据，fast-cgi协议格式，我们看到写入的长度是896，和上边的php接收的长度是对应的。

6.recvfrom函数从FD21中返回 ECONNRESET (Connection reset by peer)

7.向FD9中写入错误信息，可以推断FD9就是nginx错误日志的文件描述符。

8.关闭和FD21的连接。

9.向FD3写入502 Bad Gateway，就是返回给浏览器的信息。

10.向FD8写入一条访问日志，可以推断FD8就是nginx访问日志的文件描述符。

来验证一下nginx访问日志和错误日志的推断。可以看到的确是FD8，FD9，并处于写入模式。

 

那么在这个过程中整个网络包的传输我们不妨也看一下：

通过tcpdump抓包，用神器看比较方便。

因为只想看nginx和php的通讯，在上边又知道nginx的端口是47039，可以通过tcp.srcport==47039过滤出对应的包。

可以看到nginx和php-fpm数据交互的过程：47039->9000建立三次握手，接着向9000发送数据，9000回复ACK，3S后9000回复RST。没毛病。

注意：

SYN，FIN各占一个序列号

ACK，RST不占序列号（28，29两个包的reqnum和acknum都是相同的）

序列号是每一字节加1（29包发送896字节，同时29包seq为4219146879，30包的ack为4219147775，正好相差896）

RST不需要回复。