标签归档：MySQL

mysql5.7关闭ONLY_FULL_GROUP_BY

mysql5.7以上版本在常会报关于only_full_group_by的错误，可以在sql_mode中关闭他，网上查找的解决办法通过实践后发现有些不详细，关键地方说的不清楚，有的有些错误，自己解决之后在这里总结一下。

操作系统：Linux
mysql版本：5.7.26
查看
进入mysql 查看mysql版本：select version();

运行SELECT @@GLOBAL.sql_mode;和SELECT @@SESSION.sql_mode;查看sql_model参数，可以看到参数中有ONLY_FULL_GROUP_BY，

ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
1
2
临时去除ONLY_FULL_GROUP_BY
因为这种方式从参考资料上来看只是临时去除，所以，我并没有尝试，这里列出解决办法：

set @@GLOBAL.sql_mode=”;
set sql_mode =’STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION’;
1
2
修改配置文件去除ONLY_FULL_GROUP_BY
这种方式是我实践的方式，我详细说一下：

打开配置文件mysql.cnf
sudo gedit /etc/mysql/mysql.cnf
1
在[mysqld]中添加代码
sql_mode =’STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION’
1
网上有很多资料写到这段代码在[mysql]中也同时添加，另外有些写着添加内容为 “set sql_mode XXXX”经过我在自己机器上验证，发现都是不行的，只能在[mysqld]添加，否则会造成mysql无法连接

验证是否生效
重启mysql

sudo service mysql restart
1
查看参数是否存在

mysql> SELECT @@sql_mode;
+————————————————————————————————————————+
| @@sql_mode |
+————————————————————————————————————————+
| STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION |
+————————————————————————————————————————+
1 row in set (0.00 sec)

mysql> SELECT @@GLOBAL.sql_mode;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect…
Connection id: 2
Current database: *** NONE ***

+————————————————————————————————————————+
| @@GLOBAL.sql_mode |
+————————————————————————————————————————+
| STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION |
+————————————————————————————————————————+
1 row in set (0.00 sec)

mysql> SELECT @@GLOBAL.sql_mode;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect…
Connection id: 2
Current database: *** NONE ***

mysql – 启动错误InnoDB: mmap(137363456 bytes) failed; errno 12

上午mysql出现了问题，很纠结，最后找到了原因，原因是内存不够用；

190925 9:25:01 [Note] Plugin ‘FEDERATED’ is disabled.
190925 9:25:01 InnoDB: The InnoDB memory heap is disabled
190925 9:25:01 InnoDB: Mutexes and rw_locks use GCC atomic builtins
190925 9:25:01 InnoDB: Compressed tables use zlib 1.2.7
190925 9:25:01 InnoDB: Using Linux native AIO
190925 9:25:01 InnoDB: Initializing buffer pool, size = 1.0G
InnoDB: mmap(1098907648 bytes) failed; errno 12
190925 9:25:01 InnoDB: Completed initialization of buffer pool
190925 9:25:01 InnoDB: Fatal error: cannot allocate memory for the buffer pool
190925 9:25:01 [ERROR] Plugin ‘InnoDB’ init function returned error.
190925 9:25:01 [ERROR] Plugin ‘InnoDB’ registration as a STORAGE ENGINE failed.
190925 9:25:01 [ERROR] Unknown/unsupported storage engine: InnoDB
190925 9:25:01 [ERROR] Aborting

190925 9:25:01 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

查看内存显示

[root@AY1305070924544 /]# free -m

total used free shared buffers cached

Mem: 995 928 66 0 6 19

-/+ buffers/cache: 903 91

Swap: 0 0 0

重启错误提示

[root@AY1305070924544 /]# /etc/init.d/mysqld start

Starting MySQL. ERROR! The server quit without updating PID file (/var/mysql/data/AY1305070924544.pid).

[root@AY1305070924544 /]# /etc/init.d/mysqld restart

ERROR! MySQL server PID file could not be found!

Starting MySQL. ERROR! The server quit without updating PID file (/var/mysql/data/AY1305070924544.pid).

这个其实日志里面说的很明白就是 mysql要占用内存的时候物理内存不够用导致的所有 vim /etc/my.cnf

[inonodb]

innodb_buffer_pool_size=64MB 把这个数值改小高版本的默认是128mb 版本的默认是8Mb

MySQL 5.6 如何给ibdata1瘦身

前不久刚给ibdata1瘦身，发篇文章总结下。

ibdata1是MySQL使用InnoDB引擎时所产生的文件，其一般存储数据、索引、结构、缓冲数据、共享数据和重做日志等。因为ibdata1只增不减，长期操作数据库，可能会使其越来越大，而浪费空间。

加上使用InnoDB引擎时，没有添加innodb_file_per_table参数也是导致ibdata1过大的原因。

但InnoDB只增不减，也导致给ibdata1瘦身是件比较麻烦的事。

最大的我见过的是40多G的ibdata1文件，实际数据库差不多是20多G，在做了优化后，ibdata1缩小至20多G，所以说减肥还是有必要的。

首先，先略微说下innodb_file_per_table参数，使用该参数可使得InnoDB引擎转变为独立表空间模式（默认为共享表空间），也就是每个数据库的每个表都会生成一个数据空间，就像MyISAM引擎一样。

独立表空间优点就是每个表有独立空间，数据和索引都会存在自已的表空间中，可以实现单表在不同的数据库中移动。重要的是空间可以回收，而且不管日常怎么操作，表空间的碎片不会太严重的影响性能，优化表的速度也快，表文件出现问题不会大动干戈，只要修复对应表即可。缺点是单表占用的空间比共享表空间方式稍大，共享表空间在Insert操作上有一些优势。

所以没增加innodb_file_per_table参数的同学，建议还是加上吧。因为增加innodb_file_per_table参数，与我们后续给ibdata1瘦身并无冲突，而且对以后也只有好处。

说了这么多废话，言归正传。谈谈怎么给ibdata1瘦身，唯一的方法是就是备份整个数据库，然后删掉ibdata1和ib_logfile*，再恢复数据库，以此达到瘦身目的。当然了，操作数据库肯定是有风险的，而且也需要生产环境允许MySQL暂停写或访问。

简单的总结就是以下这几点：

1.在/etc/my.cnf中添加“innodb_force_recovery=4”使InnoDB成为只读表，这其实应该说是第一个坑。另外确定“innodb_data_file_path”参数限定的初始ibdata1大小在合理范围，一般稍大于现有数据大小。
2.启动MySQL，使用我给的工具备份除了mysql、information_schema和performance_schema的整个数据库。为以后顺利恢复数据做准备。
3.删除除了mysql、information_schema和performance_schema的整个数据库，这3个排除在外的其实也删不掉。
4.停止MySQL，删除ibdata1和ib_logfile*文件。
5.删除数据库目录中的mysql目录的innodb_index_stats.*、innodb_table_stats.*、slave_master_info.*、slave_relay_log_info.*、slave_worker_info.*文件，这5个是InnoDB的基础表（状态表），这是MySQL 5.6的坑，删除ibdata1后不会自动重建这5个表，而且如果不删除这些旧文件，还不可创建或重建新的。
6.在/etc/my.cnf把“innodb_force_recovery=4”去除。
7.启动MySQL，将第2步备份的数据库还原，然后用从MySQL 5.6导出来的InnoDB基础表备份还原回去重建（第5步删掉的）。
8.搞定，重启下MySQL，确保没有错误，没有异常。

必要的工具，在文末的Github地址下载。

下面详细说说每个步骤，首先是设置InnoDB为只读表，这还是比较必要的。可确保你的数据完整性、安全性。为何是坑呢，因为我遇到过没这样设置，导致后续恢复备份时，数据有异常。

具体操作，在/etc/my.cnf中添加“innodb_force_recovery=4”

…
[mysqld]
…
innodb_force_recovery = 4
…
如此便可，innodb_file_per_table也是在[mysqld]下添加。

innodb_force_recovery的值可以设置为1-6，大的数字包含其前面所有数字的影响。

1. (SRV_FORCE_IGNORE_CORRUPT):忽略检查到的corrupt页。
2. (SRV_FORCE_NO_BACKGROUND):阻止主线程的运行，如主线程需要执行full purge操作，会导致crash。
3. (SRV_FORCE_NO_TRX_UNDO):不执行事务回滚操作。
4. (SRV_FORCE_NO_IBUF_MERGE):不执行插入缓冲的合并操作。
5. (SRV_FORCE_NO_UNDO_LOG_SCAN):不查看重做日志，InnoDB存储引擎会将未提交的事务视为已提交。
6. (SRV_FORCE_NO_LOG_REDO):不执行前滚的操作。

接着呢，启动MySQL，备份整个数据库，一般我们会用

mysqldump –lock-all-tables –all-databases > all-dbs.sql
来完整备份数据库。但这样的话，就包含了mysql、information_schema和performance_schema这3个数据库，而在后续还原数据库，带着这3个数据库可能会出错（我有几次遇到过）。

所以我提供了shell脚本工具mysql_dump_all_db.sh，因为怕大家不像我是免密码操作MySQL的，在使用工具前，请先修改脚本中的MySQL帐号和密码，然后再通过

sh mysql_dump_all_db.sh
执行备份操作，备份好的文件，会存放在脚本运行所在目录。

这个工具默认排除mysql、information_schema和performance_schema这3个数据库，如果你有其他想排除的，可以直接修改脚本，增加其他想要排除的数据库。

完了之后呢，删除所有数据库，可以通过phpMyadmin或直接在shell操作MySQL删除，在shell下删除，可以在/tmp/DatabasesToDump.txt查看到所有数据库，由“mysql_dump_all_db.sh”生成。我一般在phpMyadmin删除，简单，不怕错。如你所见，mysql、information_schema和performance_schema这3个数据库是删不掉的，所以要排除，免得麻烦。

搞定后，就可以停止MySQL了。删除数据库目录的ibdata1和ib_logfile*文件，一般是在/usr/local/mysql/data，看你怎么配置的了。

接着，在该目录下的mysql目录（/usr/local/mysql/data/mysql）中，把innodb_index_stats.*、innodb_table_stats.*、slave_master_info.*、slave_relay_log_info.*、slave_worker_info.*共计10个文件删除，这些文件已经无用了，而且占着茅坑不拉屎。MySQL 5.6很煞笔的不会重建这5个表，如果你不删除他们，待会将无法重建或恢复这5个表，接着log一直在报错，死循环。所以要把这5个表的10个文件干掉。所以这个是个坑。

在/etc/my.cnf把“innodb_force_recovery=4”去除后，就可以启动MySQL了，这时候ibdata1和ib_logfile*文件会重建。噢，上帝，胜利在望，不要激动，让我们继续吧。

把刚才备份的所有数据库还原，用从MySQL 5.6导出来的InnoDB基础表备份还原回去重建。

我在后面的Github地址有提供，从全新 MySQL 5.6导出的，名字为“mysql_innodb_basic_tables.sql”的备份文件，通过它可以重建刚才删掉的5个InnoDB基础表。

还原数据库文件非常简单，不过我还是略微写下，照顾下小白，在shell下：

mysql < all-dbs.sql
mysql < mysql_innodb_basic_tables.sql
这样就OK了，如没有免密码操作权限，请自行添加-u和-p参数。

好的，做完这些，重启下MySQL，确保没有错误即可。这样就完成了对ibdata1的瘦身。

以上操作环境为：CentOS 6.6 x64、MySQL 5.6.25。

工具存放在Github中（原谅我的渣英文），见： https://github.com/kn007/Reduce-Shrink-Purge-the-ibdata1-file-in-MySQL

写这篇文章就是为了大家少走一点弯路，也把自己遇到的坑说一下。算是个总结，也是给后人的一些经验。原则上不提供技术支持，有问题请自行解决。另外毕竟是数据库，瘦身有风险，操作需谨慎。

MySQL的binlog日志

binlog 基本认识
    MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。

    一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL官方中文手册 5.1.24版)。二进制有两个最重要的使用场景: 其一：MySQL Replication在Master端开启binlog，Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的。 
    其二：自然就是数据恢复了，通过使用mysqlbinlog工具来使恢复数据。
    
    二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。 


一、开启binlog日志：
    vi编辑打开mysql配置文件 # vi /usr/local/mysql/etc/my.cnf  在[mysqld] 区块
    设置/添加 log-bin=mysql-bin  确认是打开状态(值 mysql-bin 是日志的基本名或前缀名)；

    重启mysqld服务使配置生效 # pkill mysqld # /usr/local/mysql/bin/mysqld_safe --user=mysql &  二、也可登录mysql服务器，通过mysql的变量配置表，查看二进制日志是否已开启 单词：variable[ˈvɛriəbəl] 变量

    登录服务器 # /usr/local/mysql/bin/mysql -uroot -p123456 mysql> show variables like 'log_%'; +----------------------------------------+---------------------------------------+
    | Variable_name                          | Value                                 |
    +----------------------------------------+---------------------------------------+
    | log_bin                                | ON                                    | ------> ON表示已经开启binlog日志 | log_bin_basename                       | /usr/local/mysql/data/mysql-bin       |
    | log_bin_index                          | /usr/local/mysql/data/mysql-bin.index |
    | log_bin_trust_function_creators        | OFF                                   |
    | log_bin_use_v1_row_events              | OFF                                   |
    | log_error                              | /usr/local/mysql/data/martin.err      |
    | log_output                             | FILE |
    | log_queries_not_using_indexes          | OFF                                   |
    | log_slave_updates                      | OFF                                   |
    | log_slow_admin_statements              | OFF                                   |
    | log_slow_slave_statements              | OFF                                   |
    | log_throttle_queries_not_using_indexes | 0                                     |
    | log_warnings                           | 1                                     |
    +----------------------------------------+---------------------------------------+ 三、常用binlog日志操作命令 1.查看所有binlog日志列表 mysql> show master logs; 2.查看master状态，即最后(最新)一个binlog日志的编号名称，及其最后一个操作事件pos结束点(Position)值 mysql> show master status; 3.刷新log日志，自此刻开始产生一个新编号的binlog日志文件 mysql> flush logs;
      注：每当mysqld服务重启时，会自动执行此命令，刷新binlog日志；在mysqldump备份数据时加 -F 选项也会刷新binlog日志； 4.重置(清空)所有binlog日志 mysql> reset master;


四、查看某个binlog日志内容，常用有两种方式： 1.使用mysqlbinlog自带查看命令法：
      注: binlog是二进制文件，普通文件查看器cat more vi等都无法打开，必须使用自带的 mysqlbinlog 命令查看
          binlog日志与数据库文件在同目录中(我的环境配置安装是选择在/usr/local/mysql/data中)
      在MySQL5.5以下版本使用mysqlbinlog命令时如果报错，就加上 “--no-defaults”选项 # /usr/local/mysql/bin/mysqlbinlog /usr/local/mysql/data/mysql-bin.000013  下面截取一个片段分析： ............................................................................... # at 552 #131128 17:50:46 server id 1  end_log_pos 665   Query   thread_id=11    exec_time=0     error_code=0 ---->执行时间:17:50:46；pos点:665 SET TIMESTAMP=1385632246/*!*/;
         update zyyshop.stu set name='李四' where id=4              ---->执行的SQL /*!*/; # at 665 #131128 17:50:46 server id 1  end_log_pos 692   Xid = 1454 ---->执行时间:17:50:46；pos点:692  ............................................................................... 注: server id 1 数据库主机的服务号；
             end_log_pos 665 pos点
             thread_id=11 线程号 2.上面这种办法读取出binlog日志的全文内容较多，不容易分辨查看pos点信息，这里介绍一种更为方便的查询命令： mysql> show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

             选项解析：
               IN 'log_name' 指定要查询的binlog文件名(不指定就是第一个binlog文件)
               FROM pos 指定从哪个pos起始点开始查起(不指定就是从整个文件首个pos点开始算)
               LIMIT [offset,] 偏移量(不指定就是0)
               row_count       查询总条数(不指定就是所有行)

             截取部分查询结果： *************************** 20. row *************************** Log_name: mysql-bin.000021  ----------------------------------------------> 查询的binlog日志文件名 Pos: 11197 ----------------------------------------------------------> pos起始点: Event_type: Query ----------------------------------------------------------> 事件类型：Query
               Server_id: 1 --------------------------------------------------------------> 标识是由哪台服务器执行的
             End_log_pos: 11308 ----------------------------------------------------------> pos结束点:11308(即：下行的pos起始点)
                    Info: use `zyyshop`; INSERT INTO `team2` VALUES (0,345,'asdf8er5') ---> 执行的sql语句 *************************** 21. row *************************** Log_name: mysql-bin.000021 Pos: 11308 ----------------------------------------------------------> pos起始点:11308(即：上行的pos结束点)
              Event_type: Query
               Server_id: 1 End_log_pos: 11417 Info: use `zyyshop`; /*!40000 ALTER TABLE `team2` ENABLE KEYS */ *************************** 22. row *************************** Log_name: mysql-bin.000021 Pos: 11417 Event_type: Query
               Server_id: 1 End_log_pos: 11510 Info: use `zyyshop`; DROP TABLE IF EXISTS `type`

      这条语句可以将指定的binlog日志文件，分成有效事件行的方式返回，并可使用limit指定pos点的起始偏移，查询条数；
      
      A.查询第一个(最早)的binlog日志： mysql> show binlog events\G; 
    
      B.指定查询 mysql-bin.000021 这个文件： mysql> show binlog events in 'mysql-bin.000021'\G;

      C.指定查询 mysql-bin.000021 这个文件，从pos点:8224开始查起： mysql> show binlog events in 'mysql-bin.000021' from 8224\G;

      D.指定查询 mysql-bin.000021 这个文件，从pos点:8224开始查起，查询10条 mysql> show binlog events in 'mysql-bin.000021' from 8224 limit 10\G;

      E.指定查询 mysql-bin.000021 这个文件，从pos点:8224开始查起，偏移2行，查询10条 mysql> show binlog events in 'mysql-bin.000021' from 8224 limit 2,10\G;


五、恢复binlog日志实验(zyyshop是数据库) 1.假设现在是凌晨4:00，我的计划任务开始执行一次完整的数据库备份：

      将zyyshop数据库备份到 /root/BAK.zyyshop.sql 文件中： # /usr/local/mysql/bin/mysqldump -uroot -p123456 -lF --log-error=/root/myDump.err -B zyyshop > /root/BAK.zyyshop.sql ...... 大约过了若干分钟，备份完成了，我不用担心数据丢失了，因为我有备份了，嘎嘎~~~ 由于我使用了-F选项，当备份工作刚开始时系统会刷新log日志，产生新的binlog日志来记录备份之后的数据库“增删改”操作，查看一下： mysql> show master status; +------------------+----------+--------------+------------------+
      | File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
      +------------------+----------+--------------+------------------+
      | mysql-bin.000023 |      120 |              |                  |
      +------------------+----------+--------------+------------------+ 也就是说， mysql-bin.000023 是用来记录4:00之后对数据库的所有“增删改”操作。 2.早9:00上班了，业务的需求会对数据库进行各种“增删改”操作~~~~~~~ @ 比如：创建一个学生表并插入、修改了数据等等：
        CREATE TABLE IF NOT EXISTS `tt` (
          `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(16) NOT NULL, `sex` enum('m','w') NOT NULL DEFAULT 'm', `age` tinyint(3) unsigned NOT NULL, `classid` char(6) DEFAULT NULL, PRIMARY KEY (`id`)
         ) ENGINE=InnoDB DEFAULT CHARSET=utf8;


      导入实验数据 mysql> insert into zyyshop.tt(`name`,`sex`,`age`,`classid`) values('yiyi','w',20,'cls1'),('xiaoer','m',22,'cls3'),('zhangsan','w',21,'cls5'),('lisi','m',20,'cls4'),('wangwu','w',26,'cls6');


      查看数据 mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+
      | id | name     | sex | age | classid |
      +----+----------+-----+-----+---------+
      |  1 | yiyi     | w   |  20 | cls1    |
      |  2 | xiaoer   | m   |  22 | cls3    |
      |  3 | zhangsan | w   |  21 | cls5    |
      |  4 | lisi     | m   |  20 | cls4    |
      |  5 | wangwu   | w   |  26 | cls6    |
      +----+----------+-----+-----+---------+ 中午时分又执行了修改数据操作 mysql> update zyyshop.tt set name='李四' where id=4; mysql> update zyyshop.tt set name='小二' where id=2;

      修改后的结果： mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+
      | id | name     | sex | age | classid |
      +----+----------+-----+-----+---------+
      |  1 | yiyi     | w   |  20 | cls1    |
      |  2 | 小二     | m   |  22 | cls3    |
      |  3 | zhangsan | w   |  21 | cls5    |
      |  4 | 李四     | m   |  20 | cls4    |
      |  5 | wangwu   | w   |  26 | cls6    |
      +----+----------+-----+-----+---------+ 假设此时是下午18:00，莫名地执行了一条悲催的SQL语句，整个数据库都没了： mysql> drop database zyyshop; 3.此刻杯具了，别慌！先仔细查看最后一个binlog日志，并记录下关键的pos点，到底是哪个pos点的操作导致了数据库的破坏(通常在最后几步)；
    
      备份一下最后一个binlog日志文件： # ll /usr/local/mysql/data | grep mysql-bin # cp -v /usr/local/mysql/data/mysql-bin.000023 /root/  此时执行一次刷新日志索引操作，重新开始新的binlog日志记录文件，理论说 mysql-bin.000023 这个文件不会再有后续写入了(便于我们分析原因及查找pos点)，以后所有数据库操作都会写入到下一个日志文件； mysql> flush logs; mysql> show master status; 4.读取binlog日志，分析问题
      方式一：使用mysqlbinlog读取binlog日志： # /usr/local/mysql/bin/mysqlbinlog  /usr/local/mysql/data/mysql-bin.000023  方式二：登录服务器，并查看(推荐)： mysql> show binlog events in 'mysql-bin.000023';
        
        以下为末尾片段： +------------------+------+------------+-----------+-------------+------------------------------------------------------------+
        | Log_name         | Pos | Event_type | Server_id | End_log_pos | Info                                                       |
        +------------------+------+------------+-----------+-------------+------------------------------------------------------------+
        | mysql-bin.000023 |  922 | Xid        |         1 |         953 | COMMIT /* xid=3820 */ |
        | mysql-bin.000023 |  953 | Query      |         1 |        1038 | BEGIN                                                      |
        | mysql-bin.000023 | 1038 | Query      |         1 |        1164 | use `zyyshop`; update zyyshop.tt set name='李四' where id=4|
        | mysql-bin.000023 | 1164 | Xid        |         1 |        1195 | COMMIT /* xid=3822 */ |
        | mysql-bin.000023 | 1195 | Query      |         1 |        1280 | BEGIN                                                      |
        | mysql-bin.000023 | 1280 | Query      |         1 |        1406 | use `zyyshop`; update zyyshop.tt set name='小二' where id=2|
        | mysql-bin.000023 | 1406 | Xid        |         1 |        1437 | COMMIT /* xid=3823 */ |
        | mysql-bin.000023 | 1437 | Query      |         1 |        1538 | drop database zyyshop                                      |
        +------------------+------+------------+-----------+-------------+------------------------------------------------------------+ 通过分析，造成数据库破坏的pos点区间是介于 1437--1538 之间，只要恢复到1437前就可。 5.现在把凌晨备份的数据恢复： # /usr/local/mysql/bin/mysql -uroot -p123456 -v < /root/BAK.zyyshop.sql;  注: 至此截至当日凌晨(4:00)前的备份数据都恢复了。
          但今天一整天(4:00--18:00)的数据肿么办呢？就得从前文提到的 mysql-bin.000023 新日志做文章了......


    6.从binlog日志恢复数据
      
      恢复语法格式： # mysqlbinlog mysql-bin.0000xx | mysql -u用户名 -p密码 数据库名  常用选项： --start-position=953 起始pos点 --stop-position=1437 结束pos点 --start-datetime="2013-11-29 13:18:54" 起始时间点 --stop-datetime="2013-11-29 13:21:53" 结束时间点 --database=zyyshop                     指定只恢复zyyshop数据库(一台主机上往往有多个数据库，只限本地log日志)
            
        不常用选项： -u --user=name              Connect to the remote server as username.连接到远程主机的用户名 -p --password[=name]        Password to connect to remote server.连接到远程主机的密码 -h --host=name              Get the binlog from server.从远程主机上获取binlog日志 --read-from-remote-server   Read binary logs from a MySQL server.从某个MySQL服务器上读取binlog日志

      小结：实际是将读出的binlog日志内容，通过管道符传递给mysql命令。这些命令、文件尽量写成绝对路径；

      A.完全恢复(本例不靠谱，因为最后那条 drop database zyyshop 也在日志里，必须想办法把这条破坏语句排除掉，做部分恢复) # /usr/local/mysql/bin/mysqlbinlog  /usr/local/mysql/data/mysql-bin.000021 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop   B.指定pos结束点恢复(部分恢复)：
        @ --stop-position=953 pos结束点
        注：此pos结束点介于“导入实验数据”与更新“name='李四'”之间，这样可以恢复到更改“name='李四'”之前的“导入测试数据” # /usr/local/mysql/bin/mysqlbinlog --stop-position=953 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  在另一终端登录查看结果(成功恢复了)： mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+
        | id | name     | sex | age | classid |
        +----+----------+-----+-----+---------+
        |  1 | yiyi     | w   |  20 | cls1    |
        |  2 | xiaoer   | m   |  22 | cls3    |
        |  3 | zhangsan | w   |  21 | cls5    |
        |  4 | lisi     | m   |  20 | cls4    |
        |  5 | wangwu   | w   |  26 | cls6    |
        +----+----------+-----+-----+---------+ C.指定pso点区间恢复(部分恢复)：
        更新 name='李四' 这条数据，日志区间是Pos[1038] --> End_log_pos[1164]，按事务区间是：Pos[953] --> End_log_pos[1195]；

        更新 name='小二' 这条数据，日志区间是Pos[1280] --> End_log_pos[1406]，按事务区间是：Pos[1195] --> End_log_pos[1437]；

        c1.单独恢复 name='李四' 这步操作，可这样： # /usr/local/mysql/bin/mysqlbinlog --start-position=1038 --stop-position=1164 --database=zyyshop  /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  也可以按事务区间单独恢复，如下： # /usr/local/mysql/bin/mysqlbinlog --start-position=953 --stop-position=1195 --database=zyyshop  /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  c2.单独恢复 name='小二' 这步操作，可这样： # /usr/local/mysql/bin/mysqlbinlog --start-position=1280 --stop-position=1406 --database=zyyshop  /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  也可以按事务区间单独恢复，如下： # /usr/local/mysql/bin/mysqlbinlog --start-position=1195 --stop-position=1437 --database=zyyshop  /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  c3.将 name='李四'、name='小二' 多步操作一起恢复，需要按事务区间，可这样： # /usr/local/mysql/bin/mysqlbinlog --start-position=953 --stop-position=1437 --database=zyyshop  /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  D.在另一终端登录查看目前结果(两名称也恢复了)： mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+
        | id | name     | sex | age | classid |
        +----+----------+-----+-----+---------+
        |  1 | yiyi     | w   |  20 | cls1    |
        |  2 | 小二     | m   |  22 | cls3    |
        |  3 | zhangsan | w   |  21 | cls5    |
        |  4 | 李四     | m   |  20 | cls4    |
        |  5 | wangwu   | w   |  26 | cls6    |
        +----+----------+-----+-----+---------+ E.也可指定时间区间恢复(部分恢复)：除了用pos点的办法进行恢复，也可以通过指定时间区间进行恢复，按时间恢复需要用mysqlbinlog命令读取binlog日志内容，找时间节点。
        比如，我把刚恢复的tt表删除掉，再用时间区间点恢复 mysql> drop table tt;

        @ --start-datetime="2013-11-29 13:18:54" 起始时间点
        @ --stop-datetime="2013-11-29 13:21:53" 结束时间点 # /usr/local/mysql/bin/mysqlbinlog --start-datetime="2013-11-29 13:18:54" --stop-datetime="2013-11-29 13:21:53" --database=zyyshop /usr/local/mysql/data/mysql-bin.000021 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop  总结：所谓恢复，就是让mysql将保存在binlog日志中指定段落区间的sql语句逐个重新执行一次而已。

php连接mysql是否应该使用存储过程以及优劣势和使用场景

利弊是相对的，使用存储过程来实现不一定是什么“滔天大罪”，这完全取决于系统的规模，扩展性以及产品的发展方向。
通常情况来说，把业务逻辑写到存储过程中不利于系统分层设计和维护，更不利于数据库的迁移（当然没有谁总想着换个数据库玩儿玩儿），这么做的原因很可能是他认为可以提高性能（存储过程的性能确实优于SQL访问的性能），不过为了解决性能问题有很多种方案，这种方式可能会差一些。

先说一下优劣势，再说一下使用场景吧

1、存储过程的优势

（1）、减少连接数

（2）、调用相对程序方比较简单，由DB管理员加，程序方只是需要传递参数即可

（3）、方便DBA查看

2.使用存储过程的劣势

（1）、程序极大耦合，业务一旦更改，需要都进行更改

（2）、牵扯到复杂计算的情况下，需要数据库进行运算，而数据库的优势是存取，循环等逻辑判断服务的情况是数据库的一个硬伤

（3）、调试困难，无法知道运行sql的情况，尤其是数据库有专门DBA的情况

（4）、主从分离的情况无法使用

（5）、无法适应数据库的切割（水平或垂直切割）。数据库切割之后，存储过程并不清楚数据存储在哪个数据库中。

3、使用场景

存储过程只是适用在php和mysql都是同一个人管理的不太进行业务变更的小网站上。稍微复杂一点的网站并不适合存储过程

公司开发定的数据库MYSQL规范

我们公司相当多的项目用的是mysql数据库，但是大家在开发过程中对mysql的认识问题，往往在数据库设计时对字段的定义不一致，在开发时对sql语句的执行出现问题，特地把一些通用性的、值得注意的问题做一下总结

一、数据库的设计规范

1、必须使用InnoDB存储引擎

原因：支持事务安全、行级锁、并发性能更好（查询不加锁，完全不影响查询），内存缓存页优化使得资源利用率更高，mysql5.6版本开始支持全文索引

2、必须使用utf-8的字符编码

原因：这个无需过多解释，和网站以及其他系统完全统一，避免转码带来不必要的麻烦，而且系统数据接口都是使用json格式。

3、数据库、表、字段名必须有意义并且必须加入中文注释

原因：避免自己遗忘，方便他人进行开发，要不然一段时间之后谁还知道这是用来干什么的

4、禁止使用存储过程、视图、触发器

原因：高并发大数据的互联网业务，架构设计思路是“解放数据库CPU，将计算转移到服务层”，并发量大的情况下，这些功能很可能将数据库拖死，业务逻辑放到服务层具备更好的扩展性，能够轻易实现“增机器就加性能”。数据库擅长存储与索引，计算还是使用程序来实现。使用存储过程等非常难于进行调试和测试。

5、禁止存储文件和图片

原因：存储路径在速度和空间方面会有更好的提升

6、数据库中表的数量不能高于500

原因：做好前期设计，尽量把一些相关度低的表进行分库处理

7、库名、表名、字段名的命名规则

所有的名字都使用小写并且间隔使用下划线风格，不超过32个字符，必须要见名知意，尽量使用英文，但是绝对禁止拼音英文混用命名。

二、表的设计规则

8、表中的字段数不能超过30

原因：如果字段过多，就要把一些不常用的字段进行分表处理

9、表明和索引名统一

例如：表名table_xxx，非唯一索引名index_xxx，唯一索引名unique_xxx

10、所有表必须至少有一个主键，例如自增主键

原因：

a）主键递增，数据行写入可以提高插入性能，可以避免page分裂，减少表碎片提升空间和内存的使用

b）主键要选择较短的数据类型， Innodb引擎普通索引都会保存主键的值，较短的数据类型可以有效的减少索引的磁盘空间，提高索引的缓存效率

c）无主键的表删除，在row模式的主从架构，会导致备库夯住

11、禁止使用外键，如果要有外键完整性约束，必须使用程序进行控制

原因：外键会导致表之间耦合度增加，update与delete操作都会涉及相关联的表，非常影响sql 的性能，甚至会造成死锁。高并发情况下非常影响数据库性能，大数据高并发业务场景数据库使用以性能优先

三、字段的设计规范

12、所有字段都要定义为NOT NULL并提供默认值

原因：

1）null的列使索引/索引统计/值比较都更加复杂，对MySQL来说更难优化

2）null 这种类型MySQL内部需要进行特殊处理，增加数据库处理记录的复杂性；同等条件下，表中有较多空字段的时候，数据库的处理性能会降低很多

3）null值需要更多的存储空，无论是表还是索引中每行中的null的列都需要额外的空间来标识

4）对null 的处理时候，只能采用is null或is not null，而不能采用=、in、<、<>、!=、not in这些操作符号。如：where name!=’shenjian’，如果存在name为null值的记录，查询结果就不会包含name为null值的记录

13、在多字段的表中禁止使用TEXT、BLOB类型

原因：会浪费更多的磁盘和内存空间，非必要的大量的大字段查询会淘汰掉热数据，导致内存命中率急剧降低，影响数据库性能

14、使用整数禁止使用小数存储货币

原因：价格乘以100来使用整数存储，小数在运算过程中会导致钱对不上

15、手机号必须使用varchar(20)进行存储

原因：

1）涉及到国家代号，可能出现类似+86

2）手机号会去做数学运算么？不会，所以不要使用int（11）

3）varchar可以支持模糊查询，例如：like“138%”

16、禁止使用ENUM，可使用TINYINT代替

原因：

1）增加新的ENUM值要做DDL操作

2）ENUM的内部实际存储就是整数，你以为自己定义的是字符串？

四、索引的设计规范

17、表中索引的数量最好控制在5个以内

原因：

1）、索引也占用很大的空间

2）、索引在创建修改数据的情况需要大量更新索引

18、一个索引关联的字段在5个以内

原因：字段超过5个时，实际已经起不到有效过滤数据的作用了

19、禁止在更新十分频繁、或者区分度不高的属性上建立索引

原因：

1）更新会变更B+树，更新频繁的字段建立索引会大大降低数据库性能

2）“性别”这种区分度不大的属性，建立索引是没有什么意义的，不能有效过滤数据，性能与全表扫描类似

20、建立组合索引，必须把区分度高的字段放在前面

解读：能够更加有效的过滤数据

五、sql优化

21、禁止使用SELECT *，只获取必要的字段，需要显示说明列属性

原因：

1）读取不需要的列会增加CPU、IO、NET消耗

2）不能有效的利用覆盖索引

3）使用SELECT *容易在增加或者删除字段后出现程序BUG

22、禁止使用INSERT INTO t_xxx VALUES(yyy)，必须显示指定插入的列属性

原因：容易在增加或者删除字段后出现程序BUG

23、禁止使用属性隐式转换

原因：SELECT uid FROM t_user WHERE phone=13812345678 会导致全表扫描，而不能命中phone索引，

where 条件语句里，字段属性和赋给的条件，当数据类型不一样，这时候是没法直接比较的，需要进行一致转换，这种情况是无法使用索引的。

24、禁止在WHERE条件的属性上使用函数或者表达式

原因：SELECT uid FROM t_user WHERE from_unixtime(day)>=’2017-02-15′ 会导致全表扫描，而不能使用索引

正确的写法是：SELECT uid FROM t_user WHERE day>= unix_timestamp(‘2017-02-15 00:00:00’)

25、禁止负向查询，以及%开头的模糊查询

解读：

a）负向查询条件：NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等，会导致全表扫描，而不使用索引

b）%开头的模糊查询，同样会导致全表扫描，不能使用索引

26、禁止在大表中使用JOIN查询，禁止大表使用子查询

解读：会产生临时表，消耗较多内存与CPU，极大影响数据库性能

27、禁止使用OR条件，都改为IN查询

原因：旧版本Mysql的OR查询是不能命中索引的，即使新版能命中索引，为何要让数据库耗费更多的CPU呢？

28、应用程序必须捕获SQL异常的功能，并有相应处理

http://www.architecy.com/archives/456

shell处理mysql增、删、改、查sql语句结果

这几天做一个任务，比对两个数据表中的数据，昨天用PHP写了一个版本，但考虑到有的机器没有php或者php没有编译mysql扩展，就无法使用mysql系列的函数，脚本就无效了，今天写个shell版本的，这样，在所有linux系列机器上就都可以运行了。

shell操作mysql其实就是通过mysql命令通过参数去执行语句，跟其他程序里面是一样的，看看下面这个参数：

-e, --execute=name  Execute command and quit. (Disables --force and history file.)

因此我们可以通过mysql -e来执行语句，就像下面这样：

mysql -hlocalhost -P3306 -uroot -p123456 $test --default-character-set=utf8 -e "select * from users"

执行之后返回下面结果：

在shell脚本中操作mysql

导出数据

MYSQL="mysql -h192.168.1.102 -uroot -p123456 --default-character-set=utf8 -A -N" #这里面有两个参数，-A、-N，-A的含义是不去预读全部数据表信息，这样可以解决在数据表很多的时候卡死的问题 #-N，很简单，Don't write column names in results，获取的数据信息省去列名称
sql="select * from test.user"
result="$($MYSQL -e "$sql")"

dump_data=./data.user.txt
>$dump_data
echo -e "$result" > $dump_data #这里要额外注意，echo -e "$result" > $dump_data的时候一定要加上双引号，不让导出的数据会挤在一行 #下面是返回的测试数据 3       吴彦祖 32 5       王力宏 32 6       ab 32 7       黄晓明 33 8       anonymous 32

插入数据

#先看看要导入的数据格式，三列，分别是id，名字，年龄（数据是随便捏造的），放入data.user.txt
12 tf 23
13 米勒 24
14 西安电子科技大学 90
15 西安交大 90
16 北京大学 90 #OLF_IFS=$IFS #IFS="," #临时设置默认分隔符为逗号
cat data.user.txt | while read id name age do
    sql="insert into test.user(id, name, age) values(${id}, '${name}', ${age});" $MYSQL -e "$sql" done

输出结果

+----+--------------------------+-----+
| id | name                     | age |
+----+--------------------------+-----+
| 12 | tf                       | 23 |
| 13 | 米勒                       | 24 |
| 14 | 西安电子科技大学     | 90 |
| 15 | 西安交大                 | 90 |
| 16 | 北京大学                 | 90 |
+----+--------------------------+-----+

更新数据

#先看看更新数据的格式，将左边一列替换为右边一列，只有左边一列的删除，下面数据放入update.user.txt
tf twoFile
西安电子科技大学 西军电
西安交大 西安交通大学
北京大学

cat update.user.txt | while read src dst do if [ ! -z "${src}" -a ! -z "${dst}" ] then
        sql="update test.user set name='${dst}' where name='${src}'" fi if [ ! -z "${src}" -a -z "${dst}" ] then
        sql="delete from test.user where name='${src}'" fi $MYSQL -e "$sql" done

输出结果：

+----+--------------------------+-----+
| id | name                     | age |
+----+--------------------------+-----+
| 12 | twoFile                  | 23 |
| 13 | 米勒                       | 24 |
| 14 | 西军电          | 90 |
| 15 | 西安交通大学           | 90 |
+----+--------------------------+-----+

dump数据到sql文件

#利用mysqldump这个命令可以很轻松的导出所有数据的sql语句到指定文件 #导出root@localhost下面的exp.Opes中的所有数据到tt.sql
mysqldump -h localhost -u root -p exp Opes > ./tt.sql #回车之后输入密码就可以将所有sql语句输出到tt.sql

导入数据到mysql数据库

#设置编码，不然可能出现乱码
mysql -hlocalhost -uroot --default-character-set=gbk -p exp< ./tt.sql #回车之后输入密码，导入tt.sql中的所有数据到exp数据库中

阿里云， ucloud, 青云 mysql 性能简单测试

这三家我都有使用

先说使用感受

青云最专业，后台控制面板也好用。关机只收部分费用也非常适合做测试机器
阿里云没什么要说的，很均衡。不折腾就上阿里云。就是有几次无故重启不通知
ucloud 问题很多，比如购买的 IP 无法访问 mailgun, 创建主机失败，只能删了重新创建。网络突然故障， github 无法 clone

这几天有想法测一下这三家提供的 mysql 读写性能如何，于是写了下面的脚本。
先说一下这三家 mysql 的配置:

青云是最低一档的 1 核 2G mysql5.5 ，配置默认
ucloud 是最低一档 600M 内存， mysql5.6 标准版，默认配置
阿里云是第二档 600M 内存， mysql5.5 ，默认配置

所以这是一个不严谨的测试，因为这些机器都是早就买好的。所以无法做到测试环境一模一样。

测试结果:

每家各测试多次，结果比较稳定，就选取其中的一次结果：

青云

INSERT ONE 3.25666999817
INSERT MANY 0.217604875565
QUERY 3.51868581772

ucloud

INSERT ONE 5.17626905441
INSERT MANY 1.33850288391
QUERY 2.40842795372

阿里云

INSERT ONE 5.36786603928
INSERT MANY 0.239859104156
QUERY 5.58612704277

测试脚本:

# -*- coding: utf-8 -*- import os import time import random import base64 import MySQLdb MYSQL_HOST = '127.0.0.1' MYSQL_PORT = 3306 MYSQL_USER = 'root' MYSQL_PASSWORD = 'root' MYSQL_DB = 'bench_test' max_num = 10000 conn = MySQLdb.connect( host=MYSQL_HOST, port=MYSQL_PORT, db=MYSQL_DB, user=MYSQL_USER, passwd=MYSQL_PASSWORD ) # 数据库需要提前建立好，但是表不用 cursor = conn.cursor() sql = """create table if not exists test ( id integer not null primary key, age integer not null, name varchar(255) not null )""" cursor.execute(sql) conn.commit() cursor.close() # 生成测试数据 DATA = [] for i in range(max_num): DATA.append((i+1, i+1, base64.b64encode(os.urandom(64)))) def insert_one_test(): cursor = conn.cursor() cursor.execute("delete from test") start = time.time() for value in DATA: cursor.execute('insert into test (id, age, name) values (%s, %s, %s)', value) conn.commit() cursor.close() print "INSERT ONE", time.time() - start def insert_many_test(): cursor = conn.cursor() cursor.execute("delete from test") start = time.time() start_index = 0 batch_amount = 2000 while start_index < max_num: values = DATA[start_index: start_index+batch_amount] cursor.executemany("insert into test (id, age, name) values (%s, %s, %s)", values) start_index += batch_amount conn.commit() cursor.close() print "INSERT MANY", time.time() - start def query_test(): cursor = conn.cursor() start = time.time() for i in range(10000 * 1): _id = random.randint(1, max_num) cursor.execute("select id, age, name from test where id = %s", (_id,)) result = cursor.fetchone() assert result[1] == _id print "QUERY", time.time() - start if __name__ == '__main__': insert_one_test() insert_many_test() query_test()

https://cn.v2ex.com/t/233000

查看修改mysql数据库的字符集

Liunx下修改MySQL字符集：
1.查找MySQL的cnf文件的位置
find / -iname ‘*.cnf’ -print
/usr/share/mysql/my-innodb-heavy-4G.cnf
/usr/share/mysql/my-large.cnf
/usr/share/mysql/my-small.cnf
/usr/share/mysql/my-medium.cnf
/usr/share/mysql/my-huge.cnf
/usr/share/texmf/web2c/texmf.cnf
/usr/share/texmf/web2c/mktex.cnf
/usr/share/texmf/web2c/fmtutil.cnf
/usr/share/texmf/tex/xmltex/xmltexfmtutil.cnf
/usr/share/texmf/tex/jadetex/jadefmtutil.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-innodb-heavy-4G.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-large.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-small.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-medium.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-huge.cnf
2. 拷贝 small.cnf、my-medium.cnf、my-huge.cnf、my-innodb-heavy-4G.cnf其中的一个到/etc下，命名为my.cnf
cp /usr/share/mysql/my-medium.cnf /etc/my.cnf
3. 修改my.cnf
vi /etc/my.cnf
在[client]下添加
default-character-set=utf8
在[mysqld]下添加
default-character-set=utf8
4.重新启动MySQL
[root@bogon ~]# /etc/rc.d/init.d/mysql restart
Shutting down MySQL                                        [ 确定 ]
Starting MySQL.                                           [ 确定 ]
[root@bogon ~]# mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.1.22-rc-community-log MySQL Community Edition (GPL)
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.
5.查看字符集设置
mysql> show variables like ‘collation_%’;
+———————-+—————–+
| Variable_name       | Value          |
+———————-+—————–+
| collation_connection | utf8_general_ci |
| collation_database | utf8_general_ci |
| collation_server    | utf8_general_ci |
+———————-+—————–+
3 rows in set (0.02 sec)
mysql> show variables like ‘character_set_%’;
+————————–+—————————-+
| Variable_name          | Value                      |
+————————–+—————————-+
| character_set_client    | utf8                      |
| character_set_connection | utf8                      |
| character_set_database | utf8                      |
| character_set_filesystem | binary                   |
| character_set_results    | utf8                      |
| character_set_server    | utf8                      |
| character_set_system    | utf8                      |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+————————–+—————————-+
8 rows in set (0.02 sec)
mysql>

其他的一些设置方法：
修改数据库的字符集
mysql>use mydb
mysql>alter database mydb character set utf-8;
创建数据库指定数据库的字符集
mysql>create database mydb character set utf-8;
通过配置文件修改:
修改/var/lib/mysql/mydb/db.opt
default-character-set=latin1
default-collation=latin1_swedish_ci
为
default-character-set=utf8
default-collation=utf8_general_ci
重起MySQL:
[root@bogon ~]# /etc/rc.d/init.d/mysql restart
通过MySQL命令行修改:
mysql> set character_set_client=utf8;
Query OK, 0 rows affected (0.00 sec)
mysql> set character_set_connection=utf8;
Query OK, 0 rows affected (0.00 sec)
mysql> set character_set_database=utf8;
Query OK, 0 rows affected (0.00 sec)
mysql> set character_set_results=utf8;
Query OK, 0 rows affected (0.00 sec)
mysql> set character_set_server=utf8;
Query OK, 0 rows affected (0.00 sec)
mysql> set character_set_system=utf8;
Query OK, 0 rows affected (0.01 sec)
mysql> set collation_connection=utf8;
Query OK, 0 rows affected (0.01 sec)
mysql> set collation_database=utf8;
Query OK, 0 rows affected (0.01 sec)
mysql> set collation_server=utf8;
Query OK, 0 rows affected (0.01 sec)
查看:
mysql> show variables like ‘character_set_%’;
+————————–+—————————-+
| Variable_name          | Value                      |
+————————–+—————————-+
| character_set_client    | utf8                      |
| character_set_connection | utf8                      |
| character_set_database | utf8                      |
| character_set_filesystem | binary                   |
| character_set_results    | utf8                      |
| character_set_server    | utf8                      |
| character_set_system    | utf8                      |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+————————–+—————————-+
8 rows in set (0.03 sec)
mysql> show variables like ‘collation_%’;
+———————-+—————–+
| Variable_name       | Value          |
+———————-+—————–+
| collation_connection | utf8_general_ci |
| collation_database | utf8_general_ci |
| collation_server    | utf8_general_ci |
+———————-+—————–+
3 rows in set (0.04 sec)

————————————————————————-
【知识性文章转载】
MYSQL 字符集问题

MySQL的字符集支持(Character Set Support)有两个方面：
   字符集(Character set)和排序方式(Collation)。
对于字符集的支持细化到四个层次:
   服务器(server)，数据库(database)，数据表(table)和连接(connection)。
1.MySQL默认字符集
MySQL对于字符集的指定可以细化到一个数据库，一张表，一列，应该用什么字符集。
但是，传统的程序在创建数据库和数据表时并没有使用那么复杂的配置，它们用的是默认的配置，那么，默认的配置从何而来呢？    (1)编译MySQL 时，指定了一个默认的字符集，这个字符集是 latin1；
   (2)安装MySQL 时，可以在配置文件 (my.ini) 中指定一个默认的的字符集，如果没指定，这个值继承自编译时指定的；
   (3)启动mysqld 时，可以在命令行参数中指定一个默认的的字符集，如果没指定，这个值继承自配置文件中的配置,此时 character_set_server 被设定为这个默认的字符集；
   (4)当创建一个新的数据库时，除非明确指定，这个数据库的字符集被缺省设定为character_set_server；
   (5)当选定了一个数据库时，character_set_database 被设定为这个数据库默认的字符集；
   (6)在这个数据库里创建一张表时，表默认的字符集被设定为 character_set_database，也就是这个数据库默认的字符集；
   (7)当在表内设置一栏时，除非明确指定，否则此栏缺省的字符集就是表默认的字符集；
简单的总结一下，如果什么地方都不修改，那么所有的数据库的所有表的所有栏位的都用
latin1 存储，不过我们如果安装 MySQL，一般都会选择多语言支持，也就是说，安装程序会自动在配置文件中把
default_character_set 设置为 UTF-8，这保证了缺省情况下，所有的数据库的所有表的所有栏位的都用 UTF-8 存储。
2.查看默认字符集(默认情况下，mysql的字符集是latin1(ISO_8859_1)
通常，查看系统的字符集和排序方式的设定可以通过下面的两条命令：
   mysql> SHOW VARIABLES LIKE ‘character%’;
+————————–+———————————+
| Variable_name          | Value                         |
+————————–+———————————+
| character_set_client    | latin1                         |
| character_set_connection | latin1                         |
| character_set_database | latin1                         |
| character_set_filesystem | binary                   |
| character_set_results    | latin1                         |
| character_set_server    | latin1                         |
| character_set_system    | utf8                            |
| character_sets_dir       | D:”mysql-5.0.37″share”charsets” |
+————————–+———————————+
mysql> SHOW VARIABLES LIKE ‘collation_%’;
+———————-+—————–+
| Variable_name       | Value          |
+———————-+—————–+
| collation_connection | utf8_general_ci |
| collation_database | utf8_general_ci |
| collation_server    | utf8_general_ci |
+———————-+—————–+
3.修改默认字符集
(1) 最简单的修改方法，就是修改mysql的my.ini文件中的字符集键值，
如    default-character-set = utf8
   character_set_server = utf8
修改完后，重启mysql的服务，service mysql restart
使用 mysql> SHOW VARIABLES LIKE ‘character%’;查看，发现数据库编码均已改成utf8
+————————–+———————————+
| Variable_name          | Value                         |
+————————–+———————————+
| character_set_client    | utf8                            |
| character_set_connection | utf8                            |
| character_set_database | utf8                            |
| character_set_filesystem | binary                         |
| character_set_results    | utf8                            |
| character_set_server    | utf8                            |
| character_set_system    | utf8                            |
| character_sets_dir       | D:”mysql-5.0.37″share”charsets” |
+————————–+———————————+
(2) 还有一种修改字符集的方法，就是使用mysql的命令
mysql> SET character_set_client = utf8 ;

MySQL中涉及的几个字符集

character-set-server/default-character-set：服务器字符集，默认情况下所采用的。
character-set-database：数据库字符集。
character-set-table：数据库表字符集。
优先级依次增加。所以一般情况下只需要设置character-set-server，而在创建数据库和表时不特别指定字符集，这样统一采用character-set-server字符集。
character-set-client：客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时，请求以该字符集进行编码。
character-set-results：结果字符集。服务器向客户端返回结果或者信息时，结果以该字符集进行编码。
在客户端，如果没有定义character-set-results，则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。

要处理中文，则可以将character-set-server和character-set-client均设置为GB2312，如果要同时处理多国语言，则设置为UTF8。

关于MySQL的中文问题

解决乱码的方法是，在执行SQL语句之前，将MySQL以下三个系统参数设置为与服务器字符集character-set-server相同的字符集。
character_set_client：客户端的字符集。
character_set_results：结果字符集。
character_set_connection：连接字符集。
设置这三个系统参数通过向MySQL发送语句：set names gb2312

关于GBK、GB2312、UTF8
UTF- 8：Unicode Transformation Format-8bit，允许含BOM，但通常不含BOM。是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24为（三个字节）来编码。UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如，如果是UTF8编码，则在外国人的英文IE上也能显示中文，他们无需下载IE的中文语言支持包。

GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBD大。

GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换：
GBK、GB2312－－Unicode－－UTF8
UTF8－－Unicode－－GBK、GB2312

对于一个网站、论坛来说，如果英文字符较多，则建议使用UTF－8节省空间。不过现在很多论坛的插件一般只支持GBK。

GB2312是GBK的子集，GBK是GB18030的子集
GBK是包括中日韩字符的大字符集合
如果是中文的网站推荐GB2312 GBK有时还是有点问题
为了避免所有乱码问题，应该采用UTF-8，将来要支持国际化也非常方便
UTF-8可以看作是大字符集，它包含了大部分文字的编码。
使用UTF-8的一个好处是其他地区的用户（如香港台湾）无需安装简体中文支持就能正常观看你的文字而不会出现乱码。

gb2312是简体中文的码
gbk支持简体中文及繁体中文
big5支持繁体中文
utf-8支持几乎所有字符

首先分析乱码的情况
1.写入数据库时作为乱码写入
2.查询结果以乱码返回
究竟在发生乱码时是哪一种情况呢？
我们先在mysql 命令行下输入
show variables like ‘%char%’;
查看mysql 字符集设置情况:

在查询结果中可以看到mysql 数据库系统中客户端、数据库连接、数据库、文件系统、查询
结果、服务器、系统的字符集设置
在这里，文件系统字符集是固定的，系统、服务器的字符集在安装时确定，与乱码问题无关
乱码的问题与客户端、数据库连接、数据库、查询结果的字符集设置有关
*注：客户端是看访问mysql 数据库的方式，通过命令行访问，命令行窗口就是客户端，通
过JDBC 等连接访问，程序就是客户端
我们在向mysql 写入中文数据时，在客户端、数据库连接、写入数据库时分别要进行编码转
换
在执行查询时，在返回结果、数据库连接、客户端分别进行编码转换
现在我们应该清楚，乱码发生在数据库、客户端、查询结果以及数据库连接这其中一个或多
个环节
接下来我们来解决这个问题
在登录数据库时，我们用mysql –default-character-set=字符集-u root -p 进行连接，这时我们
再用show variables like ‘%char%’;命令查看字符集设置情况，可以发现客户端、数据库连接、
查询结果的字符集已经设置成登录时选择的字符集了
如果是已经登录了，可以使用set names 字符集;命令来实现上述效果，等同于下面的命令：
set character_set_client = 字符集
set character_set_connection = 字符集
set character_set_results = 字符集

如果碰到上述命令无效时，也可采用一种最简单最彻底的方法：

一、Windows

1、中止MySQL服务
2、在MySQL的安装目录下找到my.ini，如果没有就把my-medium.ini复制为一个my.ini即可
3、打开my.ini以后，在[client]和[mysqld]下面均加上default-character-set=utf8，保存并关闭
4、启动MySQL服务

要彻底解决编码问题，必须使

| character_set_client     | gbk                                    |
| character_set_connection | gbk                                    |
| character_set_database   | gbk                                    |
| character_set_results    | gbk                                    |
| character_set_server     | gbk                                    |
| character_set_system     | utf8

这些编码相一致，都统一。

如果是通过JDBC 连接数据库，可以这样写URL：
URL=jdbc:mysql://localhost:3306/abs?useUnicode=true&characterEncoding=字符集
JSP 页面等终端也要设置相应的字符集
数据库的字符集可以修改mysql 的启动配置来指定字符集，也可以在create database 时加上
default character set 字符集来强制设置database 的字符集
通过这样的设置，整个数据写入读出流程中都统一了字符集，就不会出现乱码了
为什么从命令行直接写入中文不设置也不会出现乱码？
可以明确的是从命令行下，客户端、数据库连接、查询结果的字符集设置没有变化
输入的中文经过一系列转码又转回初始的字符集，我们查看到的当然不是乱码
但这并不代表中文在数据库里被正确作为中文字符存储
举例来说，现在有一个utf8 编码数据库，客户端连接使用GBK 编码，connection 使用默认
的ISO8859-1（也就是mysql 中的latin1），我们在客户端发送“中文”这个字符串，客户端
将发送一串GBK 格式的二进制码给connection 层，connection 层以ISO8859-1 格式将这段
二进制码发送给数据库，数据库将这段编码以utf8 格式存储下来，我们将这个字段以utf8
格式读取出来，肯定是得到乱码，也就是说中文数据在写入数据库时是以乱码形式存储的，
在同一个客户端进行查询操作时，做了一套和写入时相反的操作，错误的utf8 格式二进制
码又被转换成正确的GBK 码并正确显示出来。

2种方法解决mysql主从不同步

今天发现Mysql的主从数据库没有同步

先上Master库：

mysql>show processlist; 查看下进程是否Sleep太多。发现很正常。

show master status; 也正常。

mysql> show master status;

+——————-+———-+————–+——————————-+

+——————-+———-+————–+——————————-+

+——————-+———-+————–+——————————-+

1 row in set (0.00 sec)

再到Slave上查看

mysql> show slave status\G

Slave_IO_Running: Yes

Slave_SQL_Running: No

可见是Slave不同步

下面介绍两种解决方法：

方法一：忽略错误后，继续同步

该方法适用于主从库数据相差不大，或者要求数据可以不完全统一的情况，数据要求不严格的情况

解决：

stop slave;

#表示跳过一步错误，后面的数字可变

set global sql_slave_skip_counter =1;

start slave;

之后再用mysql> show slave status\G 查看：

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

ok，现在主从同步状态正常了。。。

方式二：重新做主从，完全同步

该方法适用于主从库数据相差较大，或者要求数据完全统一的情况

解决步骤如下：

1.先进入主库，进行锁表，防止数据写入

使用命令：

mysql> flush tables with read lock;

注意：该处是锁定为只读状态，语句不区分大小写

2.进行数据备份

#把数据备份到mysql.bak.sql文件

[root@server01 mysql]#mysqldump -uroot -p -hlocalhost > mysql.bak.sql

这里注意一点：数据库备份一定要定期进行，可以用shell脚本或者python脚本，都比较方便，确保数据万无一失

3.查看master 状态

mysql> show master status;

+——————-+———-+————–+——————————-+

+——————-+———-+————–+——————————-+

+——————-+———-+————–+——————————-+

1 row in set (0.00 sec)

4.把mysql备份文件传到从库机器，进行数据恢复

#使用scp命令

[root@server01 mysql]# scp mysql.bak.sql root@192.168.128.101:/tmp/

5.停止从库的状态

mysql> stop slave;

6.然后到从库执行mysql命令，导入数据备份

mysql> source /tmp/mysql.bak.sql

7.设置从库同步，注意该处的同步点，就是主库show master status信息里的| File| Position两项

change master to master_host = ‘192.168.128.100’, master_user = ‘rsync’, master_port=3306, master_password=”, master_log_file = ‘mysqld-bin.000001’, master_log_pos=3260;

8.重新开启从同步

mysql> start slave;

9.查看同步状态

mysql> show slave status\G 查看：

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

好了，同步完成啦。

【DNS服务器IP地址-域名注册查询-CDN加速技术】

DNS服务器IP地址,域名注册,CDN加速技术,linux,web服务器,SRE,微服务,DevOps,运维

标签归档：MySQL

mysql5.7关闭ONLY_FULL_GROUP_BY

mysql – 启动错误InnoDB: mmap(137363456 bytes) failed; errno 12

MySQL 5.6 如何给ibdata1瘦身

MySQL的binlog日志

php连接mysql是否应该使用存储过程以及优劣势和使用场景

公司开发定的数据库MYSQL规范

shell处理mysql增、删、改、查sql语句结果

在shell脚本中操作mysql

导出数据

插入数据

更新数据

dump数据到sql文件

导入数据到mysql数据库

阿里云， ucloud, 青云 mysql 性能简单测试

测试结果:

青云

ucloud

阿里云

测试脚本:

查看修改mysql数据库的字符集

2种方法解决mysql主从不同步