晓残

MHA MHA 安装 安装依赖 yum -y install perl-DBD-MySQL* yum -y install perl-Config-Tiny* yum -y install perl-Parallel-ForkManager* yum -y install perl-MailTools* yum -y install perl-Email-Date-Format* yum -y install perl-Mail-Sender* yum -y install perl-MIME-Types* yum -y install perl-MIME-Lite* yum -y install perl-Mail-Sendmail* yum -y install perl-Log-Dispatch* 下载MHA Manager和Node：下载 安装MHA [root@centos …

索引和执行计划 慢查询设置 设置longquerytime来将执行时间超过设置的SQL记录在slowlog中，单位s。 同时设置logqueriesnotusingindexes=1记录所有没有索引的SQL到slowlog中。 开启slow log需要添加slowquerylog_file参数指定文件位置。 因为slow log会记录重复的SQL，所以一般需要借助pt-query-digest工具来进行分析。 或者在Sql中直接开启: set global slow_query_log=on; set global slow_query_log_file='/home/data/mysql/3306/slow.log'; set global long_query_time=1; set global log_queries_not_using_indexes=on; 分析满日志 分析满日志 pt-query-digest slow. …

索引 Innodb索引(聚集索引)(聚簇表分布) Innodb是索引组织表，其结构是B+Tree。其表索引结构是聚簇表分布。 其叶子节点保存了Key+Row Data(聚集索引，按主键排序)，其Key是主键或非空的唯一索引。而其二级索引是非主键或者非空的唯一索引。即Innodb表会把主键作为聚集索引，如果没有主键，会选择非空的唯一索引作为聚集索引。如果非空的唯一索引也没有的情况下，Innodb表会默认生成一个6bytes的id，默认作为主键成为聚集索引。 在创建表的时候要自己指定一个没有业务含义的主键，便于快捷插入 默认6字节的数据，到达数据上限时，不会报错，而是会直接覆盖数据 Myisam索引(非聚集索引)(非聚簇表分布) Myiasm不管是主键索引还是二级索引，永远存储的是Key，数据则单独在表中。即非聚集索引，查询的时候要先查询索引，然后查询数据。 Innodb优化方向和注意事项 创建索引 需要注意的是创建索引不是越多越好，要注意基数和选择性。 基数： 一列数据，只有True和False两个结果。则这一列的基数是2 选择性: 列唯一键与行数的比值，在0-1之间。他的取值越小越好。选择性的值是根据表中值的数据而不一样的。基数为2的情况下， …

事务隔离级别 Innodb 提供了四种隔离级别: Level Description READ UNCOMMITTED 幻像读、不可重复读和脏读都允许。 READ COMMITTED 允许幻像读、不可重复读，但不允许脏读。一般使用的级别 REPEATABLE READ 允许幻像读，但不允许不可重复读和脏读。InnoDB默认级别 SERIALIZABLE 幻像读、不可重复读和脏读都不允许。 检查和设置当前隔离级别 检查 mysql> SELECT @@global.tx_isolation; +-----------------------+ | @@global.tx_isolation | +-----------------------+ | REPEATABLE-READ | +-----------------------+ 1 row in set (0.00 sec) mysql> SELECT @@session.tx_ …

Mysql 硬件优化 硬件设置 服务器如果有节能设置，将其取消，保证以最高性能工作。 Raid最好使用硬件Raid，并且最后做R0。 Raid的情况下，关闭预读(Read Ahead)，打开Write Cache，并且设置NoCachedBadBBU防止电池循环时数据丢失。 服务器开启IPMI方便故障救援。 服务器电源管理设置为高性能模式，同时散热设置为持续散热。 PCI卡的速度在BIOS中设置为最高速度。 PCI-E卡根据功能优先级顺序选择最佳的卡槽。 Linux设置 设置数据库用户的nofile限制(soft & hard) 文件:/etc/security/limits.conf 加入: mysql soft nofile 65535 mysql hard nofile 65535 mysql防止在独立分区最好将其格式化为xfs mkfs.xfs-f-isize=512,attr=2-llazy-count=1-dsu=64k,sw=4-L/dev/ …

Mysql5.6半同步策略 Mysql 5.6在半同步的时候，采用的是After Commit策略。即在主库上commit了之后，等待从库返回确认。 在这里，首先会出现幻读的问题，即当前连接的事务读取不到这条记录，而其他连接因为主库已经提交了事务，所以能读取到这条记录。 其次，如果在主库等待从库确认的过程中，主库宕机。此时有两种情况： 1. 事务还没有提交到从库。此时客户端会得到失败的结果。此时如果从库切换为主库，主库恢复变为从库，客户端提交数据到原来的从库，就会发现原来的主库上数据被重复提交。 2. 事务已经提交到从库。此时主库向客户端返回提交失败，而从库已经提交了事务。再次提交的时候，从库便会多出一个事务。 Mysql5.7上半同步的改进 Mysql5.7上，主从的同步等待由主库提交之后等待改为了主库提交之前等待，即 Before Commit。这样就保证了从库在提交了事务之后，主库才会提交事务并返回。从一定程度上解决了主从不一致的问题。 并且，在Mysql5.7上提供了rplsemisyncmasterwait_point配置，来决定半同步在什么地方等待从库返回。 rpl_semi_sync_ …

Mysql 半同步、一致性检查、数据库复制过滤 半同步配置 安装插件 在主从上都进行如下操作 检查动态加载是否可用： mysql> select @@have_dynamic_loading; +------------------------+ | @@have_dynamic_loading | +------------------------+ | YES | +------------------------+ 1 row in set (0.00 sec) mysql> 主服务器安装插件: mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so'; Query OK, 0 rows affected (0.02 …

Mysql Replication Mysql 复制原理 原理 在每次准备提交事务完成数据更新前,主库将数据更新的事件记录到二进制日志中.MySQL会按照事务提交的顺序而非每次语句执行的顺序来记录二进制日志.在记录二进制日志后,主库会告诉存储引擎可以提交事务了 首先备库会启动一个工作线程(IO thread),IO thread跟主库建立一个普通的客户端连接,然后在主库上启动一个二进制转储线程,备库IO thread会将接收到的事件记录 到中继日志中.(binlog dump会读取主库上二进制日志中的事件.该线程不会对事件进行轮询.如果线程追赶上了主库,就会进入睡眠状态,直到主库发送信号量通知有新 的事件产生时才会被唤醒) 备库的SQL thread读取relay log,将变更的事件依次重放.relay log通常来讲在系统中都会有缓存 SQL Thread工作过程 2016-09-01上午10.35.49" title="" /> Binlog日志格式 Statement(SBR) binlog_format=statement Statement格式是Mysql的一种原始格式，所记录的数据为用户执行的SQL记录。因此体积小、兼容性好，方便查找问题及修复。但是有一个严重的问题是会导致数据记录不一致。 …

[mysqld] # GENERAL # # 运行mysql用户 user = mysql # 运行mysql端口 port = 3306 # Unix socket socket = /data1/db3306/my3306.sock # 数据库启动进程号 pid_file = /data1/db3306/mysql.pid # 数据文件存储路径 datadir = /data1/db3306/ # 临时文件存储路径，磁盘级别临时表等 tmpdir = /data1/tmp # Binary log存储路径，默认在data dir下 log_bin = /data1/db3306/3306-mysql-bin # Relay log存储路径，中继日志。缓存主从同步中master传来的binlog relay-log = /data1/db3306/3306-relay-bin # 数据库错误日志 log_ …

Mysql体系结构 Connectors 外部语言与SQL交互的入口 Management Serveices & Utilities 日常的Mysql管理工具。包括备份恢复、MySQL复制、集群等。 Connection Pool 管理缓冲用户连接、用户名、密码、权限校验,线程处理等需要缓存的需求。 生成线程，验证用户是否正确，保持连接会话队列。 SQL Interface 接受处理SQL语句接口。返回查询或执行结果。 Parser SQL解析器，将SQL进行验证和解析以便Mysql优化器可以识别的数据结构或返回SQL语句的错误。 Optimizer SQL优化器，使用查询优化器对查询进行优化，同时会验证用户是否有权限进行查询，缓存中是否有可用的最新数据。使用的是“选取-投影- 联接”策略进行查询。 选取：根据Where条件选定特定的行。 投影：提取Select查询的列。 连接：多表连接策略。根据Where筛选数据，然后取出列，最后组合。 Cache & Buffer 高速缓冲区。 …

DML 数使用户能够查询数据库以及操作已有数据库中的数据的计算机语言 数据操纵分成数据查询和数据更新两类。数据更新又分成插入、删除、 和修改三种操作 主要命令：Select、Insert、Update、Delete、Merge、Explain、Plan、Call Select Mysql Reference Select Into Select的基本语法。 语法结构(其中[]是可选项): SELECT [ALL | DISTINCT | DISTINCTROW ] [HIGH_PRIORITY] [MAX_STATEMENT_TIME = N] [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT] [SQL_CACHE | SQL_NO_CACHE] …

Mysqldump Mysqldump一般用于导出数据库备份。 导出数据库 采用事务，此时不会锁住表 mysqldump -u root -p --master-data=2 --all-databases --triggers --routines --events --single-transaction --opt -S ~/mysql/3306/my3306.sock > ~/mysql/3306/tmp/bak.sql 直接执行，此时会锁住导出的表 mysqldump -u root -p --all-databases --triggers --routines --events --opt -S ~/mysql/3306/my3306.sock > ~/mysql/3306/tmp/bak.sql …

Before Install The following guide is based on Centos 6.7. Centos的防火墙禁止mysql操作mysql配置路径之外的目录。所以如果要初始化在默认目录之外，需要将目录加入例外名单，或者关闭防火墙。 setenforce 0 Install Mysql Binary Download Here Select the Linux-Generic to download the binary package. Select the previous version of Mysql is at left side. At this guide, we are using Mysql 5.6.31. …