必须收藏的MySQL高性能优化实战总结！
章为忠 人气:0MySQL对于很多程序员来说，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
今天给大家体验MySQL的优化实战，助你高薪之路顺畅。
mysql的优化是一个系统复杂的过程，同样的设置，在不同的环境下 ，由于内存，访问量，读写频率，数据差异等等情况，可能会出现不同的结果，因此简单地根据网上的资料修改某些参数是行不通的，最好能使用 status信息对mysql进行具体的优化。
mysql> show global status; // 列出mysql服务器运行各种状态值，
mysql> show variables; // 查询mysql服务器配置信息语句
此外，要做好mysql的性能优化，首先还是得了解mysql的相关参数及其功能。这样才能知道如何优化。关于mysql的参数介绍，可以看我之前的文章。https://www.cnblogs.com/zhangweizhong/p/12179438.html
一、慢查询
mysql> show variables like 'slow%';
+------------------+-------+
| variable_name | value |
+------------------+-------+
| log_slow_queries | on |
| slow_launch_time | 2 |
+------------------+-------+
mysql> show global status like 'slow%';
+---------------------+-------+
| variable_name | value |
+---------------------+-------+
| slow_launch_threads | 0 |
| slow_queries | 4148 |
+---------------------+-------+
上面的配置显示已经打开了记录慢查询，执行时间超过2秒的即为慢查询，第二个查询显示系统有4148个慢查询，可以分析慢查询日志，找出有问题的sql语句。
需要注意的是：
1、打开慢查询日志可能会对系统性能有一点点影响，如果你的mysql是主－从结构，可以考虑打开其中一台从服务器的慢查询日志，这样既可以监控慢查询，对系统性能影响又小。
2、慢查询时间不宜设置过长，否则意义不大，最好在5秒以内。
二、连接数
mysql经常遇见”mysql: error 1040: too many connections”的情况，这个情况有可以是以下导致的：
1、数据库访问量确实很高，单台服务器压力太大，这个时候就要考虑增加从服务器分散读压力，
2、mysql配 置文件中max_connections值过小：
mysql> show variables like 'max_connections';
+-----------------+-------+
| variable_name | value |
+-----------------+-------+
| max_connections | 256 |
+-----------------+-------+
通过上面的命令显示mysql服务器最大连接数是256，然后通过max_used_connections查询一下服务器响应的最大连接数：
mysql> show global status like 'max_used_connections';
比较理想的设置是 max_used_connections / max_connections * 100% ≈ 85%
三、key_buffer_size
key_buffer_size是对myisam表性能影响最大的一个参数，用于索引的缓冲区大小，增加它可以提高索引处理性能。
mysql> show variables like 'key_buffer_size';
+-----------------+------------+
| variable_name | value |
+-----------------+------------+
| key_buffer_size | 536870912 |
+-----------------+------------+
分配了512mb内存给key_buffer_size，我们再看一下索引的缓冲区的使用情况：
mysql> show global status like 'key_read%';
+------------------------+-------------+
| variable_name | value |
+------------------------+-------------+
| key_read_requests | 27813678764 |
| key_reads | 6798830 |
+------------------------+-------------+
Key_read_requests：从缓存读取索引的请求次数。
Key_reads：从磁盘读取索引的请求次数。
上面的命令显示：一共有27813678764个索引读取请求，有6798830个请求在内存中没有找到直接从硬盘读取索引，那么索引未命中缓存的概率为：
key_cache_miss_rate ＝ key_reads / key_read_requests * 100% = 0.0244%
比如上面的数据，key_cache_miss_rate 为0.0244%，一般来说key_cache_miss_rate能达到0.1%以下就行了（每1000个请求有一个直接读硬盘），如果key_cache_miss_rate在 0.01%以下的话，key_buffer_size分配的内存过多，可以适当减少。
此外，mysql服务器还提供了key_blocks_* 参数：
mysql> show global status like 'key_blocks_u%';
+------------------------+-------------+
| variable_name | value |
+------------------------+-------------+
| key_blocks_unused | 0 |
| key_blocks_used | 413543 |
+------------------------+-------------+
key_blocks_unused 表示未使用的缓存簇(blocks)数，key_blocks_used表示曾经用到的最大的blocks数，
出现这种情况有可能是key_buffer_size设置太小，可适当增加key_buffer_size。还有就是过渡索引太大，把缓存占满了。需要优化索引减少索引的大小。
一般的设置是：key_blocks_used / (key_blocks_unused + key_blocks_used) * 100% ≈ 80%
四、临时表
通过设置 tmp_table_size 参数来控制临时表的大小，例如mysql在做GROUP BY等操作时会生成临时表。如果调高该值，MySQL同时将增加heap表的大小，可达到提高联接查询速度的效果，建议尽量优化查询，要确保查询过程中生成的临时表在内存中，避免临时表过大导致生成基于硬盘的临时表。
mysql> show global status like 'created_tmp%';
+-------------------------+---------+
| variable_name | value |
+-------------------------+---------+
| created_tmp_disk_tables | 21197 |
| created_tmp_files | 58 |
| created_tmp_tables | 1771587 |
+-------------------------+---------+
各参数解释：
created_tmp_tables：创建的临时表
created_tmp_disk_tables：在磁盘上创建临时表
created_tmp_files：mysql服务创建的临时文件文件数
mysql每创建一次临时表 created_tmp_tables 就会增加，如果是在磁盘上创建临时表则 created_tmp_disk_tables 也会增加。
比较理想的配置是：created_tmp_disk_tables / created_tmp_tables * 100% <= 25%
可以查看下mysql服务器对临时表的配置（tmp_table_size相关参数）：
mysql> show variables where variable_name in ('tmp_table_size', 'max_heap_table_size');
+---------------------+-----------+
| variable_name | value |
+---------------------+-----------+
| max_heap_table_size | 268435456 |
| tmp_table_size | 536870912 |
+---------------------+-----------+
默认为16M，可调到64-256最佳，线程独占，太大可能内存不够I/O堵塞
五、open table情况
mysql> show global status like 'open%tables%';
+---------------+-------+
| variable_name | value |
+---------------+-------+
| open_tables | 919 |
| opened_tables | 1951 |
+---------------+-------+
open_tables 表示打开表的数量，opened_tables表示打开过的表数量，如果opened_tables数量过大，说明配置中 table_cache(5.1.3之后这个值叫做table_open_cache)值可能太小，我们查询一下服务器table_cache值：
mysql> show variables like 'table_cache';
+---------------+-------+
| variable_name | value |
+---------------+-------+
| table_cache | 2048 |
+---------------+-------+
比较合适的值为：
open_tables / opened_tables * 100% >= 85%
open_tables / table_cache * 100% <= 95%
六、进程使用情况
mysql> show global status like 'thread%';
+-------------------+-------+
| variable_name | value |
+-------------------+-------+
| threads_cached | 46 |
| threads_connected | 2 |
| threads_created | 570 |
| threads_running | 1 |
+-------------------+-------+
如 果我们在mysql服务器配置文件中设置了thread_cache_size，当客户端断开之后，服务器处理此客户的线程将会缓存起来以响应下一个客户 而不是销毁（前提是缓存数未达上限）。threads_created表示创建过的线程数，如果发现threads_created值过大的话，表明 mysql服务器一直在创建线程，这也是比较耗资源，可以适当增加配置文件中thread_cache_size值，查询服务器 thread_cache_size配置：
mysql> show variables like 'thread_cache_size';
+-------------------+-------+
| variable_name | value |
+-------------------+-------+
| thread_cache_size | 64 |
+-------------------+-------+
七、查询缓存(query cache)
mysql> show global status like 'qcache%';
+-------------------------+-----------+
| variable_name | value |
+-------------------------+-----------+
| qcache_free_blocks | 22756 |
| qcache_free_memory | 76764704 |
| qcache_hits | 213028692 |
| qcache_inserts | 208894227 |
| qcache_lowmem_prunes | 4010916 |
| qcache_not_cached | 13385031 |
| qcache_queries_in_cache | 43560 |
| qcache_total_blocks | 111212 |
+-------------------------+-----------+
mysql查询缓存变量解释：
qcache_free_blocks：缓存中相邻内存块的个数。数目大说明可能有碎片。flush query cache会对缓存中的碎片进行整理，从而得到一个空闲块。
qcache_free_memory：缓存中的空闲内存。
qcache_hits：每次查询在缓存中命中时就增大
qcache_inserts：每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。
qcache_lowmem_prunes： 缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看；如果这个数字在不断增长，就表示可能碎片非常严重，或者内存 很少。（上面的 free_blocks和free_memory可以告诉您属于哪种情况）
qcache_not_cached：不适合进行缓存的查询的数量，通常是由于这些查询不是 select 语句或者用了now()之类的函数。
qcache_queries_in_cache：当前缓存的查询（和响应）的数量。
qcache_total_blocks：缓存中块的数量。
我们再查询一下服务器关于query_cache的配置：
mysql> show variables like 'query_cache%';
+------------------------------+-----------+
| variable_name | value |
+------------------------------+-----------+
| query_cache_limit | 2097152 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 203423744 |
| query_cache_type | on |
| query_cache_wlock_invalidate | off |
+------------------------------+-----------+
各参数解释：
query_cache_limit：超过此大小的查询将不缓存
query_cache_min_res_unit：缓存块的最小大小
query_cache_size：查询缓存大小
query_cache_type：缓存类型，决定缓存什么样的查询，示例中表示不缓存 select sql_no_cache 查询
query_cache_wlock_invalidate：当有其他客户端正在对myisam表进行写操作时，如果查询在query cache中，是否返回cache结果还是等写操作完成再读表获取结果。
query_cache_min_res_unit的配置是一柄”双刃剑”，默认是4kb，设置值大对大数据查询有好处，但如果你的查询都是小数据查询，就容易造成内存碎片和浪费。
查询缓存碎片率 = qcache_free_blocks / qcache_total_blocks * 100%
如果查询缓存碎片率超过20%，可以用flush query cache整理缓存碎片，或者试试减小query_cache_min_res_unit，如果你的查询都是小数据量的话。
查询缓存利用率 = (query_cache_size - qcache_free_memory) / query_cache_size * 100%
查询缓存利用率在25%以下的话说明query_cache_size设置的过大，可适当减小；查询缓存利用率在80％以上而且qcache_lowmem_prunes > 50的话说明query_cache_size可能有点小，要不就是碎片太多。
查询缓存命中率 = (qcache_hits - qcache_inserts) / qcache_hits * 100%
示例服务器 查询缓存碎片率 ＝ 20.46％，查询缓存利用率 ＝ 62.26％，查询缓存命中率 ＝ 1.94％，命中率很差，可能写操作比较频繁吧，而且可能有些碎片。
八、排序使用情况
mysql> show global status like 'sort%';
+-------------------+------------+
| variable_name | value |
+-------------------+------------+
| sort_merge_passes | 29 |
| sort_range | 37432840 |
| sort_rows | 9178691532 |
| sort_scan | 1860569 |
+-------------------+------------+
sort_merge_passes 包括两步。mysql 首先会尝试在内存中做排序，使用的内存大小由系统变量 sort_buffer_size 决定，如果它的大小不够把所有的记录都读到内存中，mysql 就会把每次在内存中排序的结果存到临时文件中，等 mysql 找到所有记录之后，再把临时文件中的记录做一次排序。这再次排序就会增加 sort_merge_passes。实际上，mysql 会用另一个临时文件来存再次排序的结果，所以通常会看到 sort_merge_passes 增加的数值是建临时文件数的两倍。因为用到了临时文件，所以速度可能会比较慢，增加 sort_buffer_size 会减少 sort_merge_passes 和 创建临时文件的次数。但盲目的增加 sort_buffer_size 并不一定能提高速度
另外，增加read_rnd_buffer_size的值对排序的操作也有一点的好处。
九、文件打开数(open_files)
mysql> show global status like 'open_files';
+---------------+-------+
| variable_name | value |
+---------------+-------+
| open_files | 1410 |
+---------------+-------+
mysql> show variables like 'open_files_limit';
+------------------+-------+
| variable_name | value |
+------------------+-------+
| open_files_limit | 4590 |
+------------------+-------+
比较合适的设置：open_files / open_files_limit * 100% <= 75％
十、表锁情况
mysql> show global status like 'table_locks%';
+-----------------------+-----------+
| variable_name | value |
+-----------------------+-----------+
| table_locks_immediate | 490206328 |
| table_locks_waited | 2084912 |
+-----------------------+-----------+
table_locks_immediate表示立即释放表锁数，table_locks_waited表示需要等待的表锁数，如果 table_locks_immediate / table_locks_waited > 5000，最好采用innodb引擎，因为innodb是行锁而myisam是表锁，对于高并发写入的应用innodb效果会好些。示例中的服务器 table_locks_immediate / table_locks_waited ＝ 235，myisam就足够了。
十一、表扫描情况
mysql> show global status like 'handler_read%';
+-----------------------+-------------+
| variable_name | value |
+-----------------------+-------------+
| handler_read_first | 5803750 |
| handler_read_key | 6049319850 |
| handler_read_next | 94440908210 |
| handler_read_prev | 34822001724 |
| handler_read_rnd | 405482605 |
| handler_read_rnd_next | 18912877839 |
+-----------------------+-------------+
mysql> show global status like 'com_select';
+---------------+-----------+
| variable_name | value |
+---------------+-----------+
| com_select | 222693559 |
+---------------+-----------+
计算表扫描率：
表扫描率 ＝ handler_read_rnd_next / com_select
如果表扫描率超过4000，说明进行了太多表扫描，很有可能索引没有建好，增加read_buffer_size值会有一些好处，但最好不要超过8mb。
数据库层面问题解决思路
一般应急调优的思路：
针对突然的业务办理卡顿，无法进行正常的业务处理！需要立马解决的场景！
1、show processlist
2、explain select id ,name from stu where name='clsn'; # ALL id name age sex
select id,name from stu where id=2-1 函数 结果集>30;
show index from table;
3、通过执行计划判断，索引问题（有没有、合不合理）或者语句本身问题
4、show status like '%lock%'; # 查询锁状态
kill SESSION_ID; # 杀掉有问题的session
常规调优思路：
针对业务周期性的卡顿，例如在每天10-11点业务特别慢，但是还能够使用，过了这段时间就好了。
1、查看slowlog，分析slowlog，分析出查询慢的语句。
2、按照一定优先级，进行一个一个的排查所有慢语句。
3、分析top sql，进行explain调试，查看语句执行时间。
4、调整索引或语句本身。
最后
以上，mysql的性能优化就啰嗦完了，需要说明的是：
1、文中提到一些参数我觉得比较重要大家最好把mysql相关的性能参数都了解清楚，这样才能明白为什么修改了这个参数就能提高查询。
2、上面我说的这些只是数据库层面的优化，其实影响数据库性能的因素很多，比如sql语句的写法，索引，服务器硬件性能等等。
加载全部内容