标签归档:shell

shell处理mysql增、删、改、查sql语句结果

这几天做一个任务,比对两个数据表中的数据,昨天用PHP写了一个版本,但考虑到有的机器没有php或者php没有编译mysql扩展,就无法使用mysql系列的函数,脚本就无效了,今天写个shell版本的,这样,在所有linux系列机器上就都可以运行了。

 

    shell操作mysql其实就是通过mysql命令通过参数去执行语句,跟其他程序里面是一样的,看看下面这个参数:

-e, --execute=name  Execute command and quit. (Disables --force and history file.)

因此我们可以通过mysql -e来执行语句,就像下面这样:

mysql -hlocalhost -P3306 -uroot -p123456 $test --default-character-set=utf8 -e "select * from users"

执行之后返回下面结果:

在shell脚本中操作mysql

导出数据

MYSQL="mysql -h192.168.1.102 -uroot -p123456 --default-character-set=utf8 -A -N" #这里面有两个参数,-A、-N,-A的含义是不去预读全部数据表信息,这样可以解决在数据表很多的时候卡死的问题 #-N,很简单,Don't write column names in results,获取的数据信息省去列名称
sql="select * from test.user"
result="$($MYSQL -e "$sql")"

dump_data=./data.user.txt
>$dump_data
echo -e "$result" > $dump_data #这里要额外注意,echo -e "$result" > $dump_data的时候一定要加上双引号,不让导出的数据会挤在一行 #下面是返回的测试数据 3       吴彦祖 32 5       王力宏 32 6       ab 32 7       黄晓明 33 8       anonymous 32

插入数据

#先看看要导入的数据格式,三列,分别是id,名字,年龄(数据是随便捏造的),放入data.user.txt
12 tf 23
13 米勒 24
14 西安电子科技大学 90
15 西安交大 90
16 北京大学 90 #OLF_IFS=$IFS #IFS="," #临时设置默认分隔符为逗号
cat data.user.txt | while read id name age do
    sql="insert into test.user(id, name, age) values(${id}, '${name}', ${age});" $MYSQL -e "$sql" done

输出结果

+----+--------------------------+-----+
| id | name                     | age |
+----+--------------------------+-----+
| 12 | tf                       | 23 |
| 13 | 米勒                       | 24 |
| 14 | 西安电子科技大学     | 90 |
| 15 | 西安交大                 | 90 |
| 16 | 北京大学                 | 90 |
+----+--------------------------+-----+

更新数据

#先看看更新数据的格式,将左边一列替换为右边一列,只有左边一列的删除,下面数据放入update.user.txt
tf twoFile
西安电子科技大学 西军电
西安交大 西安交通大学
北京大学

cat update.user.txt | while read src dst do if [ ! -z "${src}" -a ! -z "${dst}" ] then
        sql="update test.user set name='${dst}' where name='${src}'" fi if [ ! -z "${src}" -a -z "${dst}" ] then
        sql="delete from test.user where name='${src}'" fi $MYSQL -e "$sql" done

输出结果:

+----+--------------------------+-----+
| id | name                     | age |
+----+--------------------------+-----+
| 12 | twoFile                  | 23 |
| 13 | 米勒                       | 24 |
| 14 | 西军电          | 90 |
| 15 | 西安交通大学           | 90 |
+----+--------------------------+-----+

dump数据到sql文件

#利用mysqldump这个命令可以很轻松的导出所有数据的sql语句到指定文件 #导出root@localhost下面的exp.Opes中的所有数据到tt.sql
mysqldump -h localhost -u root -p exp Opes > ./tt.sql #回车之后输入密码就可以将所有sql语句输出到tt.sql

导入数据到mysql数据库

#设置编码,不然可能出现乱码
mysql -hlocalhost -uroot --default-character-set=gbk -p exp< ./tt.sql #回车之后输入密码,导入tt.sql中的所有数据到exp数据库中

sed和awk等方法实现列转成行

sed和awk等方法实现列转成行,当然只是很基础的东西,平时我遇到的问题会把它们整理到一起,然后对比分析,这样印象会更深刻。

[root@localhost ~]# cat file 

1

2

3

4

5

6

7

8

9

10

11

先把列转成行,写了5方法:

1.xargs实现

[root@localhost ~]# cat file |xargs

1 2 3 4 5 6 7 8 9 10 11

2.tr替换实现,需要echo换行

[root@localhost ~]# cat file |tr “\n” ” ” ;echo

1 2 3 4 5 6 7 8 9 10 11 

3.awk实现,ORS默认是换行符”\n”。

[root@localhost ~]# awk ‘{ORS=” “;print}’ file;echo

1 2 3 4 5 6 7 8 9 10 11

[root@localhost ~]# awk ‘{if(NR%11){ORS=” “}else{ORS=”\n”};print}’ file 

1 2 3 4 5 6 7 8 9 10 11

[root@localhost ~]# awk ‘ORS=NR%11?” “:”\n”{print}’ file

1 2 3 4 5 6 7 8 9 10 11

4.perl实现

[root@localhost ~]# cat file |perl -pe ‘s/\n/ /’ ;echo

1 2 3 4 5 6 7 8 9 10 11

5.sed是用N实现。N:将当前行的下一行数据追加进当前模式空间,然后将换行符替换成空格。

[root@localhost ~]# cat file |sed ‘N;N;N;N;N;N;N;N;N;N;s/\n/ /g’

1 2 3 4 5 6 7 8 9 10 11

有一个源文件:

[root@localhost ~]# cat filename

00000 –caipiao

123291

234234

546237

11111 –zhuce

456457

678768

432345

想要的结果:

00000 123291|234234|546237

11111 456457|678768|432345

实现方法:

这句话是通过改变 输出的 记录分隔符ORS 来实现的,ORS默认是换行符”\n”

NR是当前的行号,用NR%4取余,分隔成2行内容, 如果是则将ORS赋值为”|” ,否则赋值为”\n”,用的是一个三元操作 A?B:C   满足A则B否则C 

也可以写成awk ‘if(NR%4){ORS=”|”}else{ORS=”\n”}’

[root@localhost ~]# awk ‘{print $1}’ filename |awk ‘ORS=NR%4?”|”:”\n”{print}’ |sed ‘s/|/ /’

00000 123291|234234|546237

11111 456457|678768|432345

[root@localhost ~]#awk ‘{print $1}’ filename |awk ‘{if(NR%4){ORS=”|”}else{ORS=”\n”};print}’ |sed ‘s/|/ /’

00000 123291|234234|546237

11111 456457|678768|432345

[root@localhost ~]# awk ‘{print $1}’ filename |sed ‘N;N;N;s/\n/ /g’ |sed ‘s/ /|/g’ |sed ‘s/|/ /’

00000 123291|234234|546237

11111 456457|678768|432345