MySql sql优化实例

时间:2021-03-29 奋斗的小强人气:0

记录一次在工作中遇到sql优化实例：

　　mysql优化一直是工作中一个非常普遍的问题，我们工作中会不可避免的遇到需要根据业务去写一些比较复杂的sql语句，或者更多的呢，是我们在新接手一个项目后，尤其是一些特别老的业务系统，经常会遇到一些查询非常慢的问题。这时候就需要我们去想办法来改善我们的查询方式，来提高我们的查询效率；

前提：

　　目前我基于的存储引擎为INNODB

　　我们在开始之前先得理解，

　　一、我们mysql中的数据最终是存储在磁盘上，而内存与磁盘之间的交互速度是受限制的，除非物理上提升；所以我们要优化sql查询的速度，只能从两个方面入手：

　　　　1、减少io次数

　　　　2、减少i0数据量

　　二、我们要理解innodb的索引使用的是B+Tree的数据结构，它的特点是数据是存储在叶子节点的（MyISAM data节点存储的是数据记录的地址，因为innodb是聚集索引,MyISAM是非聚集索引...），盗用一张网图：

　　主键索引：data存放的是数据

　　辅助索引：data存放的是主键值

　　我遇到的问题：项目合同审核列表需要获取最新审核记录对应信息，需要检索的数据在3个业务表中

　　刚刚接手时，翻了下前人根据当前业务书写的sql语句：

 1 SELECT
 2             pp.user_center_id,
 3             pp.userCenterId,
 4             pp.provider_id,
 5             pp.name_cn,
 6             pp.id,
 7             pp.contract_name,
 8             pp.begin_date,
 9             pp.end_date,
10             pp.auto_extend,
11             pp.reject_reason,
12             pp.auditing_status,
13             pp.created_time,
14             pp.contract_pdf_path,
15             pp.contract_version
16         FROM
17         (
18             SELECT
19                 p.user_center_id AS user_center_id,
20                 ca.user_center_id AS userCenterId,
21                 c.provider_id AS provider_id,
22                 p.name_cn AS name_cn,
23                 c.id AS id,
24                 c.contract_name AS contract_name,
25                 c.begin_date AS begin_date,
26                 c.end_date AS end_date,
27                 c.auto_extend AS auto_extend,
28                 ca.reject_reason AS reject_reason,
29                 ca.auditing_status AS auditing_status,
30                 ca.created_time AS created_time,
31                 c.contract_pdf_path,
32                 p.agent_type,
33                 p.photographer_type,
34                 c.contract_version
35             FROM
36                 contract c
37             LEFT JOIN provider p ON c.provider_id = p.id
38             LEFT JOIN
39                 (SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
40                 SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
41                 SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)
42                 ) ca ON ca.user_center_id = p.user_center_id
43             WHERE
44                 p.photographer_type = '1'
45                 AND c.contract_version IN ('1', '0','3')
46 ) pp

　　执行时间1.849s

　　我查看一下当前语句的执行计划：EXPLAIN

　很完美的语句....

　　EXPLAIN我们大体了解一下：

　　　　id:执行sql或操作表的顺序；id相同，执行顺序从上往下；id不同，id值越大，优先级越高，越先执行；

　　　　select_type:查询类型；

　　　　　　1、simple 简单的select查询，查询中不包含子查询或者union

　　　　　　2、primary 查询中若包含任何复杂的子部分，最外层查询被标记

　　　　　　3、subquery 在select或where列表中包含了子查询

　　　　　　4、derived 在在from列表中包含的子查询被标记为derived（衍生），MySQL会递归执行这些子查询，把结果放到临时表中

　　　　　　5、union 如果第二个select出现在UNION之后，则被标记为UNION，如果union包含在from子句的子查询中，外层select被标记为derived

　　　　　　6、union result UNION 的结果

　　　　table:输出行引用的表

　　　　type:联结类型，显示查询使用了何种类型

　　　　　　1、system 表中仅有一行记录（等于系统表），这是const类型的特列，平时不会出现，这个也可以忽略不计

　　　　　　2、const 表示通过索引一次就找到了，const用于比较primary key 或者unique索引。因为只匹配一行数据，所以很快。如将主键置于where列表中，MySQL就能将该查询转换为一个常量。

　　　　　　3、eq_ref 唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于唯一索引或者主键扫描

　　　　　　4、ref 非唯一性索引扫描，返回匹配某个单独值的所有行，本质上也是一种索引访问，它返回所有匹配某个单独值的行，可能会找多个符合条件的行，属于查找和扫描的混合体

　　　　　　5、range 只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引，一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好，因为它开始于索引的某一个点，而结束另一个点，不用全表扫描

　　　　　　6、index 遍历索引树

　　　　　　7、all 遍历全表匹配

　　　　possible_keys:可能用到的这张表的索引，但实际查询不一定被用到

　　　　key: 实际使用的索引。如果没有选择索引,键是NULL。查询中如果使用覆盖索引，则该索引和查询的select字段重叠;

　　　　key_len:表示索引中使用的字节数

　　　　ref: 显示索引的哪一列被使用了

　　　　rows：根据表统计信息及索引选用情况，大致估算出找到所需记录需要读取的行数；

　　　　extra:

　　　　　　1、Using filesort mysql对数据使用了一个外部的索引排序，而不是按照表内的索引顺序进行读取。Mysql中无法利用索引完成的排序操作称为“文件排序”。

　　　　　　2、Using temporary 使用临时表保存中间结果，mysql在对查询结果排序时使用临时表。常见于排序order by和分组查询group by。

　　　　　　3、Using index 表示响应的select操作中使用了索引覆盖，避免访问了表的数据行，效率不错。如果同时出现using where，表明索引被用来执行索引键值的查找；如果没有同时出现using where，表明索引用来读取数据而非执行查找动作。

　　　　　　4、Using where 表明使用了where过滤

　　　　　　5、using join buffer 使用了连接缓存

　　　　　　6、impossible where where子句的值总是false，不能用来获取任何元组

　　　　　　7、select tables optimized away 在没有group by子句的情况下，基于索引优化Min、max操作或者对于MyISAM存储引擎优化count（*），不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化；

　　　　　　8、distinct 优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作；

　　我先把sql语句拆解一下，分析一下：

　　1、先来啃这一块，当前子查询消耗时间：776ms

　　这是干啥的呢？主要是查询contract_application表中每个用户的最新记录的相关信息；这里可以看出多用了好多次子查询，我们继续拆解一下：

　　a、

SELECT user_center_id,MAX(created_time),reject_reason,auditing_status FROM contract_application GROUP BY user_center_id

　　 598ms

　　我们看一下执行计划：

EXPLAIN SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id

　　没有索引，直接全文检索，我准备给当前表的user_center_id,created_time加个联合索引,因为当前主要以这两个字段做判断查询

　　再次执行a步骤的执行计划,可以看到当前该语句已通过索引树进行了查询，耗时从:598ms -> 401ms

　　b、当前子查询用了多次子查询，我准备调整一下sql,先来看下当前子查询的执行计划：

EXPLAIN SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
                SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
                SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)

　　调整sql，耗时

SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id

EXPLAIN SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id

　　调整后子查询从776ms->424ms；

　　c、这时候我们更新后的语句就变成了　

SELECT
            pp.user_center_id,
            pp.userCenterId,
            pp.provider_id,
            pp.name_cn,
            pp.id,
            pp.contract_name,
            pp.begin_date,
            pp.end_date,
            pp.auto_extend,
            pp.reject_reason,
            pp.auditing_status,
            pp.created_time,
            pp.contract_pdf_path,
            pp.contract_version
        FROM
        (
            SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')
) pp;

　查看执行计划

可以看到其实该语句外层没必要再次套一层子查询了，可以去掉，调整sql

SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')

查看执行计划

整体耗时从1.849s->1.177s

由于业务原因，在不改变业务需求的请求，目前还没想更加优化的方案，如果有大佬有啥好的建议，可以给点优化建议；非常感谢~

const

加载全部内容