一条SQL语句执行很慢的原因 - Sanarous的博客

一条SQL语句执行很慢的原因

说实话,这个问题可以涉及到MySQL的很多核心知识,可以扯出一大堆,就像要考你计算机网络知识的时候,会问你“输入URL回车之后,究竟发生了什么”一样,就看你掌握了多少知识,看你能说出多少。

乍一看这个问题,其实脑海里面思索的最快的反应可能是这条SQL语句在等待获取锁,但是再多想一想发现要组织好整个逻辑还是需要自己具备扎实的知识功底,大多数人回答这个面试问题应该都答不太好,那么我们今天就来总结一下原因。

开始装X,分类讨论

一条SQL语句执行的很慢,那是每次都执行的很慢还是只是偶尔出现执行的很慢的情况?所以我们需要分两种情况来分析。

  1. 大多数情况下是正常的,只是偶尔会出现很慢的情况。
  2. 在数据量不变的情况下,这条SQL语句一直以来都执行的很慢。

针对这两种问题,我们来分析一下出现的原因。

针对偶尔很慢的情况

一条SQL大多数情况下正常,偶尔出现很慢的情况,那么首先会觉得这条SQL语句本身书写的是没什么问题的,而是其它原因导致的,那会是什么原因呢?

数据库在刷新脏页我也很无奈啊

当我们要往数据库插入一条数据,或者要更新一条数据的时候,我们知道数据库会在内存中把对应字段的数据更新,但是更新之后并不会马上同步持久化到磁盘中去,而是把这些更新的记录写入到redo log日志中去,等到空闲的时候,再通过redo log里的日志把最新的数据同步到磁盘中去。

不过,redo log里的容量是十分有限的,如果数据库一直很忙,更新又很频繁,这个时候redo log很快就会被写满了,这个时候没有办法等到空闲的时候再把数据同步到磁盘中,只能暂停其它操作,全身心把数据同步到磁盘中去,而这个时候,就会导致我们平常执行的SQL语句突然执行的很慢,所以说,数据库在同步数据到磁盘的时候,就有可能导致我们的SQL语句执行的很慢了。

拿不到锁我能怎么办

这个就是我一开头最先思考到的问题,我们要执行的这条SQL语句,刚好这条语句涉及到的表,别人在用,并且别人在用的时候还加锁了,我们拿不到锁,只能慢慢等待别人释放锁。或者,表没有加锁,但是要使用到的某一行被加锁了,这个时候,我们也没办法啊。

如果要判断是否真的在等待锁,我们可以使用show processlist这个命令来查看当前的状态,反正MySQL有些常用的命令最好记一下……面试经常被问。

下面我们来分析第二种情况,相比于第一种情况,第二种情况的分析才是更重要的。

针对一直都执行的很慢的情况

如果在数据量一样大的情况下,这条SQL语句每次都执行的这么慢,那就要好好考虑下SQL语句的书写了,下面来分析一下哪些情况会导致我们的SQL语句执行的很不理想。

我们先来假设我们有一个表,表里有下面两个字段,分别是主键id,和两个普通字段cd

1
2
3
4
5
6
mysql>CREATE TABLE `t`(
`id` int(11) NOT NULL,
`c` INT(11) DEFAULT NULL,
`d` INT(11) DEFAULT NULL,
PRIMARY KEY(`id`)
)ENGINE=InnoDB;

扎心了,没用到索引

没有用上索引,这个原因应该是很多人都能想到的,例如要查询这条SQL语句:

1
select * from t where 100 < c < 10000;
  1. 字段没有加上索引。刚好你的c字段上没有索引,那么抱歉,只能走全表扫描了,你就体验不到索引带来的乐趣了,所以,这会导致这条查询语句很慢。
  2. 字段有索引,但是没用上索引。好吧,这个时候你给c这个字段加上了索引,然后又查询了一条语句select * from t where c - 1 = 1000,我想问大家一个问题,这样子在查询的时候会用索引查询吗?答案是不会,如果我们在字段的左边做了运算,那么很抱歉,在查询的时候,就不会用上索引了,所以呢,大家要注意这种字段上有索引,但是由于自己的疏忽,导致系统没有使用上索引的情况了。正确的查询应该是select * from t where c = 1000 + 1。有人可能会说,右边有运算就能用上索引?难道数据库不会自动帮我们优化一下?不好意思,确实不会帮你,这个问题只能自己去注意。
  3. 函数操作导致没有用上索引。如果我们在查询的时候,对字段进行了函数操作,也是会导致没有用上索引的,例如:select * from t where pow(c,2) = 1000。这里只是举一个例子,假设pow(c,2)是求c的平方,这个和上面做左边运算一样是不会用到索引的。

数据库自己选错索引了

我们在进行查询操作的时候,例如:

1
select * from t where 100 < c and c < 100000;

我们知道,主键索引和非主键索引是有区别的,主键索引存放的值是整行字段的数据,而非主键索引上存放的值不是整行字段的数据,而且存放主键字段的值。也就是说,如果走c这个字段的索引的话,最后会查询到对应主键的值,然后,再根据主键的值走主键索引,查询到整行数据然后返回。

好吧扯这么多,其实就是想告诉你就算你在c字段上有索引,系统也并不一定会走c这个字段上的索引,而是有可能直接扫描全表,找到100 < c < 10000的所有数据。

为什么会这样呢?

其实是这样的,系统在执行这条语句的时候,会进行预测,究竟是走c索引扫描的行数少,还是直接扫描全表的行数少。显然,扫描行数越少当然越好咯,因为扫描的行数少,意味着I/O操作的次数越少。

如果是扫描全表的话,那么扫描的次数就是这个表的总行数了,假设为n,而如果走索引c的话,我们通过索引c找到主键后,还得再通过主键索引来找我们整行的数据,也就是说,需要走两次索引,而且,我们也不知道符合100 < c < 100000这个条件的数据有多少行,万一这个表的全部数据都符合呢?这个时候就意味着,走c索引不仅扫描的行数是n,同时还得每行数据走两次索引。

所以呢,系统是有可能走全表扫描而不走索引的,那系统怎么判断的呢?

判断来源于系统的预测,也就是说,如果要走c字段索引的话,系统会预测走c字段索引大概需要扫描多少行,如果预测到要扫描的行数很多,它可能就不走索引而是直接扫描全表了。

那么问题来了,系统是怎么预测判断的呢?

系统是通过索引的区分度来判断的,一个索引上不同的值越多,意味着出现相同数值的索引越少,意味着索引的区分度就越高,我们也把区分度称之为基数,即区分度越高,基数越大。所以呢,基数越大,意味着符合100 < c and c < 100000这个条件的行数越少。

所以呢,一个索引的基数越大,意味着走索引查询越有优势。

那么下一个问题,怎么知道这个索引的基数呢?

系统当然是不会遍历全部来获得一个索引的基数的,代价太大了,索引系统是通过遍历部分数据,也就是通过采样的方式,来预测索引的基数的。

扯了这么多,重点的来了,居然是采样,那就有可能出现失误的情况,也就是说,c这个索引的基数实际上是很大的,但是采样的时候,却很不幸,把这个索引的基数预测的很小。然后就呵呵了,系统就直接走全表扫描而不走c的索引了。

所以呢,说了这么多,得出结论:由于统计的失误,导致系统没有走索引,而是走了全表扫描,这也是导致我们SQL语句执行的很慢的原因。

这里需要声明一下,系统判断是否走索引,扫描行数的预测其实只是原因之一,这条查询语句是否需要使用临时表、是否需要排序等也是会影响到系统的选择的。

不过呢,我们有时候也可以通过强制走索引的方式来查询,比如:

1
select * from t force index(a) where c < 100 and c < 100000;

我们也可以通过

1
show index from t;

来查询索引的基数和实际是否符合,如果和实际很不符合的话,我们可以重新来统计索引的基数,可以用这条命令:

1
analyze table t;

来重新统计分析。

既然会预测错索引的基数,这样意味着,当我们查询语句有多个索引的时候,系统有可能选错索引,这也可能是SQL语句执行的很慢的一个原因。

然后可以做一个总结了

(1)偶尔出现执行很慢的情况

  1. 数据库在刷新脏页,例如redo log写满了需要同步到磁盘。
  2. 执行的时候遇到表锁或者行级锁。

(2)这条SQL语句一直执行的很慢

  1. 没有用上索引。
  2. 数据库选错了索引。
如果这篇文章对您很有帮助,不妨
-------------    本文结束  感谢您的阅读    -------------
0%