【MySQL】一条SQL的执行过程

借用一张图来有个大概的认识：

流程如下：

参考https://www.jianshu.com/p/d7ed81be71c7

1. 连接数据库
   客户端发起一条Query请求，服务器端的‘连接管理模块’接收请求。
   将请求转发到‘连接进/线程模块’。
   调用‘用户模块’来进行授权检查。
   通过检查后，‘连接进/线程模块’从‘线程连接池’中取出空闲的被缓存的连接线程和客户端请求对接，如果失败则创建一个新的连接请求。

2. 处理请求

   1. 查询缓存
      通过一个大小写敏感的哈希查找判断查询是否命中查询缓存的数据。
      命中查询缓存，且用户权限没有问题，MySQL直接从缓存中拿结果返回给客户端。

      MySQL 拿到一个查询请求后，会先到查询缓存看看，之前是不是执行过这条语句。之前执行过的语句及其结果可能会以 key-value 对的形式，被直接缓存在内存中。key 是查询的语句，value 是查询的结果。如果你的查询能够直接在这个缓存中找到 key，那么这个 value 就会被直接返回给客户端。
      如果语句不在查询缓存中，就会继续后面的执行阶段。执行完成后，执行结果会被存入查询缓存中。你可以看到，如果查询命中缓存，MySQL 不需要执行后面的复杂操作，就可以直接返回结果，这个效率会很高。

      但是大多数情况下我会建议你不要使用查询缓存，为什么呢？因为查询缓存往往弊大于利。

      查询缓存的失效非常频繁，只要有对一个表的更新，这个表上所有的查询缓存都会被清空。因此很可能你费劲地把结果存起来，还没使用呢，就被一个更新全清空了。对于更新压力大的数据库来说，查询缓存的命中率会非常低。除非你的业务就是有一张静态表，很长时间才会更新一次。比如，一个系统配置表，那这张表上的查询才适合使用查询缓存。
      好在 MySQL 也提供了这种“按需使用”的方式。你可以将参数 query_cache_type 设置成 DEMAND，这样对于默认的 SQL 语句都不使用查询缓存。而对于你确定要使用查询缓存的语句，可以用 SQL_CACHE 显式指定，像下面这个语句一样：mysql> select SQL_CACHE * from T where ID=10；

      需要注意的是，MySQL 8.0 版本直接将查询缓存的整块功能删掉了，也就是说 8.0 开始彻底没有这个功能了。

      如果没有查询到缓存，那么接下来要进行一系列查询优化处理（解析SQL、预处理、优化SQL的执行计划），将SQL转化成一个执行计划。

   2. 解析和预处理
      生成一棵解析树（《编译原理》的知识），MySQL按照其语法对解析树进行验证和解析查询。判断语法是否合法。这里可以对比一下存储过程和 PHP
      或者 Java 的预处理过程，它们就是因为存储了预处理过程的结果，所以可以达到 SQL 的拼接和提高一些效率。

      首先，MySQL 需要知道你要做什么，因此需要对 SQL 语句做解析。
      分析器先会做“词法分析”。你输入的是由多个字符串和空格组成的一条 SQL 语句，MySQL 需要识别出里面的字符串分别是什么，代表什么。
      MySQL 从你输入的"select"这个关键字识别出来，这是一个查询语句。它也要把字符串“T”识别成“表名 T”，把字符串“ID”识别成“列 ID”。
      做完了这些识别以后，就要做“语法分析”。根据词法分析的结果，语法分析器会根据语法规则，判断你输入的这个 SQL 语句是否满足 MySQL 语法。
      如果你的语句不对，就会收到“You have an error in your SQL syntax”的错误提醒。

   3. 优化器和执行计划
      将语法树转化为执行计划（子任务），并选择成本尽量小的执行计划。

      经过了解析器，MySQL 就知道你要做什么了。在开始执行之前，还要先经过优化器的处理。
      优化器是在表里面有多个索引的时候，决定使用哪个索引；或者在一个语句有多表关联（join）的时候，决定各个表的连接顺序。比如你执行下面这样的语句，这个语句是执行两个表的 join：
      mysql> select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;

      • 既可以先从表 t1 里面取出 c=10 的记录的 ID 值，再根据 ID 值关联到表 t2，再判断 t2 里面 d 的值是否等于 20。
      • 也可以先从表 t2 里面取出 d=20 的记录的 ID 值，再根据 ID 值关联到 t1，再判断 t1 里面 c 的值是否等于 10。

      这两种执行方法的逻辑结果是一样的，但是执行的效率会有不同，而优化器的作用就是决定选择使用哪一个方案。
      优化器阶段完成后，这个语句的执行方案就确定下来了，然后进入执行器阶段。如果你还有一些疑问，比如优化器是怎么选择索引的，有没有可能选择错等等，没关系，我会在后面的文章中单独展开说明优化器的内容。

   4. 执行器
      MySQL会生成一个指令树，然后通过存储引擎完成这棵树并返回结果。

      MySQL 通过分析器知道了你要做什么，通过优化器知道了该怎么做，于是就进入了执行器阶段，开始执行语句。
      开始执行的时候，要先判断一下你对这个表 T 有没有执行查询的权限，如果没有，就会返回没有权限的错误，如下所示 (在工程实现上，如果命中查询缓存，会在查询缓存返回结果的时候，做权限验证。查询也会在优化器之前调用 precheck 验证权限)。
      mysql> select * from T where ID=10;

      ERROR 1142 (42000): SELECT command denied to user 'b'@'localhost' for table 'T'

      如果有权限，就打开表继续执行。打开表的时候，执行器就会根据表的引擎定义，去使用这个引擎提供的接口。
      比如我们这个例子中的表 T 中，ID 字段没有索引，那么执行器的执行流程是这样的：

      调用 InnoDB 引擎接口取这个表的第一行，判断 ID 值是不是 10，如果不是则跳过，如果是则将这行存在结果集中；
      调用引擎接口取“下一行”，重复相同的判断逻辑，直到取到这个表的最后一行。
      执行器将上述遍历过程中所有满足条件的行组成的记录集作为结果集返回给客户端。

      至此，这个语句就执行完成了。
      对于有索引的表，执行的逻辑也差不多。第一次调用的是“取满足条件的第一行”这个接口，之后循环取“满足条件的下一行”这个接口，这些接口都是引擎中已经定义好的。
      你会在数据库的慢查询日志中看到一个 rows_examined 的字段，表示这个语句执行过程中扫描了多少行。这个值就是在执行器每次调用引擎获取数据行的时候累加的。
      在有些场景下，执行器调用一次，在引擎内部则扫描了多行，因此引擎扫描行数跟 rows_examined 并不是完全相同的。

   5. 查询执行引擎 　
      查询执行引擎则根据执行计划来完成整个查询。在执行计划时，存储引擎通过调用实现的接口来完成。

SQL语句的执行顺序

什么是笛卡儿积？
MySQL多表查询的时候，如如下的几个步骤：

1. 先确定数据要用到哪些表。
2. 将多个表先通过笛卡尔积变成一个表。
3. 然后去除不符合逻辑的数据（根据两个表的关系去掉）。
4. 最后当做是一个虚拟表一样来加上条件即可。

笛卡尔乘积就是把两个集合的所有记录全部做一遍匹配，组成一张虚拟表。

在这个过程中发生了什么？

举个例子

参考 https://blog.csdn.net/sinat_32176267/article/details/83280206

如果有如下表student：

下面这条SQL语句是如何执行的呢？

SELECT `name`,COUNT(`name`) 
AS num 
FROM student
WHERE grade < 60 
GROUP BY `name` 
HAVING num >= 2 
ORDER BY num DESC,`name` ASC 
LIMIT 0,2;

他的执行结果是：

以上这条sql语句基本上概括了单表查询中所有要注意的点，那么我们就以这条sql为例来分析一下一条语句的执行流程。

1. 一条查询的sql语句先执行的是 FROM student 负责把数据库的表文件加载到内存中去。（mysql数据库在计算机上也是一个进程，cpu会给该进程分配一块内存空间，在计算机‘服务’中可以看到，该进程的状态）
   

2. WHERE grade < 60，会把第一张图所示表中的数据进行过滤，取出符合条件的记录行，生成一张临时表，如下图所示。
   

3，GROUP BY name会把2中的临时表切分成若干临时表，我们用下图来表示内存中这个切分的过程。

1. HAVING num >= 2对上图所示临时表中的数据再次过滤，与WHERE语句不同的是HAVING 用在GROUP BY之后，WHERE是对FROM student从数据库表文件加载到内存中的原生数据过滤，而HAVING 是对SELECT 语句执行之后的临时表中的数据过滤，所以说column AS otherName ,otherName这样的字段在WHERE后不能使用，但在HAVING 后可以使用。但HAVING的后使用的字段只能是SELECT 后的字段，SELECT后没有的字段HAVING之后不能使用。HAVING num >= 2语句执行之后生成一张临时表，如下：
   

2. SELECT 的执行读取规则分为sql语句中有无GROUP BY两种情况。
   　　- 当没有GROUP BY时，SELECT 会根据后面的字段名称对内存中的一张临时表整列读取。
   　　- 当查询sql中有GROUP BY时，会对内存中的若干临时表分别执行SELECT，而且只取各临时表中的第一条记录，然后再形成新的临时表。这就决定了查询sql使用GROUP BY的场景下，SELECT后面跟的一般是参与分组的字段和聚合函数，否则查询出的数据要是情况而定。另外聚合函数中的字段可以是表中的任意字段，需要注意的是聚合函数会自动忽略空值。

　　 我们还是以本例中的查询sql来分析，现在内存中有四张被GROUP BY name切分成的临时表，我们分别取名为 tempTable1,tempTable2,tempTable3,tempTable4分别对应图（1.4)、图（1.5)、图（1.6)，图（1.7)下面写四条"伪SQL"来说明这个查询过程。

SELECT `name`,COUNT(`name`) AS num FROM tempTable1;
SELECT `name`,COUNT(`name`) AS num FROM tempTable2;
SELECT `name`,COUNT(`name`) AS num FROM tempTable3;
SELECT `name`,COUNT(`name`) AS num FROM tempTable4;

最后再次成新的临时表，如下图：

1. ORDER BY num DESC,name ASC对以上的临时表按照num，name进行排序。
   

2. LIMIT 0,2取排序后的前两个。
   

以上就是一条sql的执行过程，同时我们在书写查询sql的时候应当遵守以下顺序。

SELECT XXX FROM XXX WHERE XXX GROUP BY XXX HAVING XXX ORDER BY XXX LIMIT XXX;