性能分析小案例系列,可以通过下面链接查看哦

https://www.cnblogs.com/poloyy/category/1814570.html

 

前言

  • 前面两个案例讲的都是上下文切换导致的 CPU 使用率升高
  • 这一篇就来讲讲等待 I/O 导致的 CPU 使用率升高的案例

 

进程状态

详解进程状态

https://www.cnblogs.com/poloyy/p/13413770.html

 

不可中断状态

  • 当 iowait 升高时,进程很可能因为得不到硬件的响应,而长时间处于不可中断状态
  • 不可中断也是为了保护进程数据和硬件状态一致,并且正常情况下,不可中断状态在很短时间内就会结束
  • 所以,短时的不可中断进程,一般可以忽略
  • 但如果系统或硬件发生了故障,进程可能会在不可中断状态保持很久,甚至导致系统中出现大量不可中断进程。这时,就得注意下,系统是不是出现了 I/O 等性能问题

 

僵尸进程

多进程引用很容易碰到的问题

 

正常情况

  • 一个进程创建了子进程后,它应该通过系统调用 wait() 或 waitpid() 等待子进程结束,回收子进程的资源
  • 而子进程在结束时,会向它的父进程发送 SIGCHLD 信号
  • 所以,父进程还可以注册 SIGCHLD 信号的处理函数,异步回收资源

 

异常情况

  • 如果父进程没有回收资源,或是子进程执行太快,父进程还没来得及处理子进程状态,子进程就已经提前退出,那这时的子进程就会变成僵尸进程
  • 形象比喻:父亲应该一直对儿子负责, 善始善终,如果不作为或者跟不上,都会导致“问题少年”的出现

 

重点

  • 僵尸进程持续的时间都比较短,在父进程回收它的资源后就会消亡,或者在父进程退出后,由 init 进程回收后也会消亡
  • 一旦父进程没有处理子进程的终止,还一直保持运行状态,那么子进程就会一直处于僵尸状态
  • 大量的僵尸进程会用尽 PID 进程号,导致新进程不能创建

 

大量不可中断状态和僵尸状态进程的案例

系统配置

  • Ubuntu 18.04, 2 CPU,2GB 内存
  • 前置条件:已运行案例应用

 

通过 ps 命令查看案例进程

ps aux | grep /app

结果分析

  • 多个 app 进程已启动
  • 状态有 Ss+、D+、R+
  • 小s:表示这个进程是一个会话的领导进程
  • +:表示前台进程组

 

什么是会话和进程组

  • 它们是用来管理一组相互关联的进程
  • 进程组:比如每个子进程都是父进程所在组的成员
  • 会话:共享同一个控制终端的一个或多个进程组

 

会话和进程组的场景类比

  • 通过 SSH 登录服务器,就会打开一个控制终端(TTY),这个控制终端就对应 一个会话
  • 而在终端中运行的命令以及它们的子进程,就构成了一个个的进程组
  • 后台运行的命令,构成后台进程组
  • 前台运行的命令,构成前台进程组

 

通过 top 查看系统状况

结果分析

  • 平均负载,过去 1min、5min、15min 的平均负载依次减少,说明平均负载正在升高
  • 而 1min 内的平均负载已经达到系统 CPU 个数,说明系统很可能存在性能瓶颈
  • 115 zombie 说明僵尸进程比较多,而且在不停增加,有子进程在退出时没被清理
  • 用户 CPU 和系统 CPU 都不高,但 iowait 分别是 60.5% 和 94.6%,好像有点儿不正常,导致系统的平均负载升高
  • 有两个处于 D 状态的 app 进程,可能在等待 I/O

 

查看系统的僵尸进程

ps -e -o stat,ppid,pid,cmd | egrep '^[Zz]'ps -ef | grep "defunct"

一堆 app 僵尸进程

 

iowait 分析

一提到 iowait 升高,首先会想要查询系统的 I/O 情况

 

运行 dstat 命令,观察 CPU 和 I/O 的使用情况

dstat 1 10

  • 当 iowait 升高(wai)时,磁盘的请求(read)都会很大(M)
  • 这说明 iowait 的升高跟磁盘的读请求有关,很可能就是读磁盘导致的

 

找到读磁盘的进程

  • 通过 top 找到 D 状态的两个 app 进程
  • 不可中断状态代表进程在跟硬件进行交互,很可能就是读磁盘

两个 app 进程的 PID 分别是12407、12406

 

通过 pidstat 查看 app 进程的 I/O 情况

pidstat -d -p 12407 1 5
  • -d 展示 I/O 统计数据
  • -p 指定进程号
  • 间隔 1 秒输出 5 组数据

  • kB_rd 表示每秒的 KB 数, kB_wr 表示每秒的 KB 数,iodelay 表示 I/O 的延迟(单位是时钟周期)
  • 它们都是 0,那就表示此时没有任何的读写,说明问题不 是 12407 进程导致的,也并不是12406 进程导致的

 

通过 pidstat 查看系统的 I/O 情况

pidstat -d 1 10

  • 能看到其实的确是 app 进程在读,只不过每过几秒都会有新的 app 进程在读【pid 在不断变化】
  • 可以确认,是 app 进程的问题

 

通过 ps 命令查看一直变化的 app 进程状态

前面讲到读磁盘的 app 进程 PID 一直在变化,那么就来看看已经没在读磁盘的进程的进程状态是怎么样的

ps aux | grep 15973

  • 这进程已经是 Z 状态,就是僵尸进程
  • 僵尸进程都是已经退出的进程, 所以就没法儿继续分析它的系统调用
  • 关于僵尸进程的处理方法,我们一会儿再说,现在还是继续分析 iowait 的问题

 

通过 perf 录制性能事件

  • 系统 iowait 的问题还在继续,但是 top、pidstat 这类工具已经不能给出更多的信息了
  • 此时可以通过 perf 动态跟踪性能事件
perf record -g

15s 后 ctrl+c 终止录制

 

查看报告,分析报告

perf report

  • app 的确在通过系统调用 sys_read() 读取数据
  • 并且从 new_sync_read 和 blkdev_direct_IO 能看出,进程正在对磁盘进行直接读,也就是绕过了系统缓存,每个读请求都会从磁盘直接读,这就可以解释观察到的 iowait 升高了

 

修复源码之后,通过 top 命令验证

  • iowait 已经非常低了,只有 0.3%
  • 说明修改源码已经成功修复了 iowait 高的问题
  • 不过,仔细观察僵尸进程的数量,会发现,僵尸进程还在不断的增长中

 

处理和分析僵尸进程

  • 僵尸进程是因为父进程没有回收子进程的资源而出现的
  • 解决僵尸进程需要先找出父进程,然后在父进程里解决

 

通过 pstree 找到某个 app 进程的父进程

pstree -aps 51780

51780 进程的父进程是 51688,也就是 app 应用

 

通过 ps 查看所有僵尸进程的父进程

ps -e -o stat,ppid,pid,cmd | egrep '^[Zz]'

所有僵尸进程的父进程都是 51688,从而确认 51688 就是僵尸进程的父进程

 

查看 app 应用程序的代码

查看 app 应用程序的代码,看看子进程结束的处理是否正确

  1. 有没有调用 wait() 或 waitpid() 
  2. 或有没有注册 SIGCHLD 信号的处理函数

把 wait() 放到了 for 死循环的外面,也就是说, wait()  函数实际上并没被调用到,把它挪到 for 循环的里面就可以了

 

改完源码,通过 top 验证一下

僵尸进程(Z 状态)没有了, iowait 也是 0,问题终于全部解决了

 

总结

  • 这个案例是因为磁盘 I/O 导致了 iowait 升高
  • 不过,iowait 高并不一定代表 I/O 有性能瓶颈
  • 当系统中只有 I/O 类型的进程在运行时,iowait 也会很高,但实际上,磁盘的读写远没有达到性能瓶颈的程度

 

分析整体思路

  1. 通过 top 查看系统资源情况
  2. 发现平均负载逐渐升高,iowait(wa)比较高,但用户态和内核态 CPU 使用率并不算高
  3. 查看是否有 CPU 使用率偏高的进程,发现有 D 状态的进程,可能是在等待 I/O 中
  4. 过一阵子会变成 Z 状态进程,且 CPU 使用率上升,然后会看到 zombie 进程数逐渐增加
  5. 可以得到两个结论:僵尸进程过多,应该是父进程没有清理已经结束的子进程的资源;iowait 的上升导系统平均负载上升
  6. 因为是 iowait 较高,可以通过 dstat 查看系统的 I/O 情况,会发现每次 iowait 升高,读磁盘请求都会很大
  7. 通过 pidstat -d 查看 D 状态进程的 I/O 情况,但发现并没有有效信息
  8. 通过 pidstat -d 直接查看系统的 I/O 情况,可以发现不断有新进程在进行读磁盘操作
  9. 通过 ps 命令查看刚刚 D 状态进程当前的进程状态,发现已经变成僵尸进程
  10. 通过 perf record 录制性能事件,然后通过 perf report 查看性能报告,可以发现 app 进程都是直接读磁盘,而不经过系统缓存
  11. 通过 pstree 找到 Z 状态进程的父进程
  12. 通过 ps 命令确认所有僵尸进程的父进程
  13. 找到父进程源代码,检查 wait() / waitpid() 的是否会成功调用,或是 SIGCHLD 信号处理函数的注册就行了
  14. 修改完全部源码后,重新运行应用,通过 top 验证是否还有 iowait 过高和出现 zombie 进程的情况