目 录CONTENT

文章目录

CPU使用率

简中仙
2023-02-27 / 0 评论 / 0 点赞 / 44 阅读 / 0 字 / 正在检测是否收录...
温馨提示:
本文最后更新于2024-02-07,若内容或图片失效,请留言反馈。 本文如有错误或者侵权的地方,欢迎您批评指正!

一、CPU使用率是怎么回事

CPU 使用率是单位时间内 CPU 使用情况的统计,以百分比的方式展示。Linux 作为一个多任务操作系统,将每个 CPU 的时间划分为很短的时间片,再通过调度器轮流分配给各个任务使用,因此造成多任务同时运行的错觉。

为了维护 CPU 时间,Linux 通过节拍率触发时间中断,进行使用率统计。

1、相关名词解析

节拍率 HZ: 内核的可配选项,可以设置为 100、250、1000 等(也就是每秒钟触发 100、250、1000次时间中断)。不同的系统可能设置不同数值,可以通过查询 cat /boot/config 内核选项来查看它的配置值。Linux 通过事先定义的节拍率(内核中表示为 HZ),触发时间中断,并使用全局变量 Jiffies 记录了开机以来的节拍数(每发生一次时间中断,Jiffies 的值就加 1)

查看系统内核节拍率

# grep 'CONFIG_HZ=' /boot/config-$(uname -r)
CONFIG_HZ=1000

USER_HZ (用户空间节拍率) : 因为节拍率 HZ 是内核选项,用户空间程序并不能直接访问。所以内核提供来一个用户空间节拍率 USER_HZ,固定值为100,也就是1/100 秒。这样,用户空间程序并不需要关心内核中 HZ 被设置成了多少,因为它看到的总是固定值 100。

CPU 使用率相关的重要指标

# 查看系统的 CPU 和任务统计信息,只保留各个 CPU 的数据
# cat /proc/stat | grep ^cpu
cpu  532822730 1058137 266778692 21378955139 4026652 0 2339527 0 0 0
cpu0 92858240 22002 47882207 2613235058 1258286 0 608629 0 0 0
cpu1 40415422 241989 18617467 2730885051 177096 0 53936 0 0 0
cpu2 92130355 21750 47779012 2614771095 773193 0 499878 0 0 0
cpu3 42449642 242040 18760865 2728909343 186253 0 52432 0 0 0
cpu4 92366676 23799 48370232 2614177258 662505 0 526245 0 0 0
cpu5 40171769 242154 18690596 2731045101 176410 0 50771 0 0 0
cpu6 92338035 21630 48061324 2614627999 617334 0 497951 0 0 0
cpu7 40092589 242769 18616987 2731304231 175571 0 49682 0 0 0

第一列表示的是 CPU 编号,第一行没有编号的 cpu ,表示的是所有 CPU 的累加

其他列则表示不同场景下 CPU 的累加节拍数,它的单位是 USER_HZ,也就是 10 ms(1/100 秒),所以这其实就是不同场景下的 CPU 时间。更多列内容含义可以通过man proc查看文档得知

参数说明
user(通常缩写为 us)代表用户态 CPU 时间。注意,它不包括下面的 nice 时间,但包括了 guest 时间
nice(通常缩写为 ni)代表低优先级用户态 CPU 时间,也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意,nice 可取值范围是 -20 到 19,数值越大,优先级反而越低
system(通常缩写为 sys)代表内核态 CPU 时间
idle(通常缩写为 id)代表空闲时间。注意,它不包括等待 I/O 的时间(iowait)
iowait(通常缩写为 wa)代表等待 I/O 的 CPU 时间
irq(通常缩写为 hi)代表处理硬中断的 CPU 时间
softirq(通常缩写为 si)代表处理软中断的 CPU 时间
steal(通常缩写为 st)代表当系统运行在虚拟机中的时候,被其他虚拟机占用的CPU 时间
guest(通常缩写为 guest)代表通过虚拟化运行其他操作系统的时间,也就是运行虚拟机的 CPU 时间
guest_nice(通常缩写为 gnice)代表以低优先级运行虚拟机的时间

2、CPU 使用率的计算方法

img

img

3、怎么查看 CPU 使用率

要查看 CPU 使用率,就必须先读取/proc/stat/proc/[pid]/stat这两个文件,然后再按照上面的公式计算。但现在各种各样的性能分析工具已经帮我们计算好了。

top

top显示了系统总体的 CPU 和内存使用情况,以及各个进程的资源使用情况。top 默认显示的是所有 CPU 的平均值,这个时候你只需要按下数字 1 ,就可以切换到每个 CPU的使用率了

ps

ps 则只显示了每个进程的资源使用情况。

pidstat

pidstat 每个进程的详细情况,

  • 用户态 CPU 使用率 (%usr);
  • 内核态 CPU 使用率(%system);
  • 运行虚拟机 CPU 使用率(%guest);
  • 等待 CPU 使用率(%wait);
  • 以及总的 CPU 使用率(%CPU)。

二、CPU 使用率过高怎么办?

1、GDB

有个功能强大的程序调试利器GDB(The GNU Project Debugger), 但GDB 并不适合在性能分析的早期应用。GDB 调试程序的过程会中断程序运行,这在线上环境往往是不允许的。所以,GDB 只适合用在性能分析的后期,当你找到了出问题的大致函数后,线下再借助它来进一步调试函数内部的问题

2、perf

perf 是 Linux2.6.31 以后内置的性能分析工具。它以性能事件采样为基础,不仅可以分析系统的各种事件和内核性能,还可以用来分析指定应用程序的性能问题

perf top能够实时显示占用 CPU 时钟最多的函数或者指令,因此可以用来查找热点函数

# perf top
Samples: 187K of event 'cpu-clock', 4000 Hz, Event count (approx.): 32529663190 lost: 0/0 drop: 0/0
Overhead  Shared Object            Symbol
  88.10%  [kernel]                 [k] cpuidle_enter_state
   1.25%  [kernel]                 [k] _raw_spin_unlock_irqrestore
   0.94%  [kernel]                 [k] sk_run_filter
   0.56%  [kernel]                 [k] finish_task_switch
   0.29%  perf                     [.] __symbols__insert
   0.21%  [vdso]                   [.] __vdso_clock_gettime
   0.18%  [kernel]                 [k] pvclock_clocksource_read
   0.17%  perf                     [.] rb_next
   0.14%  cadvisor                 [.] 0x000000000002170e
   0.13%  [kernel]                 [k] tick_nohz_idle_enter

第一行包含三个数据,分别是采样数(Samples)、事件类型(event)和事件总数量(Event count)。

  • 第一列 Overhead ,是该符号的性能事件在所有采样中的比例,用百分比来表示。
  • 第二列 Shared ,是该函数或指令所在的动态共享对象(Dynamic Shared Object),如内核、进程名、动态链接库名、内核模块名等。
  • 第三列 Object ,是动态共享对象的类型。比如 [.] 表示用户空间的可执行程序、或者动态链接库,而 [k] 则表示内核空间。
  • 最后一列 Symbol 是符号名,也就是函数名。当函数名未知时,用十六进制的地址来表示。

perf record则提供了保存数据的功能,保存后的数据,需要你用perf report解析展示, 加上-g参数,可以开启调用关系的采样,方便根据调用链来分析性能问题。

# perf record -F 99 -ag -- sleep 30
[ perf record: Woken up 9 times to write data ]
[ perf record: Captured and wrote 3.714 MB perf.data (23760 samples) ]

参数解释:

参数说明
-F 991秒钟进行采集99次
-g收集调用栈
-a采集所有cpus信息
-- sleep 30采集时间为30秒

当前目录下会生成一个perf.data文件。

通过perf report可以读取perf.data文件并在终端中展示。

# perf report
Samples: 23K of event 'cpu-clock', Event count (approx.): 239999997600
  Children      Self  Command          Shared Object            Symbol
+   96.87%     0.00%  swapper          [kernel.kallsyms]        [k] start_cpu                                                                                                                                                           ◆
+   96.87%     0.01%  swapper          [kernel.kallsyms]        [k] cpu_startup_entry                                                                                                                                                   ▒
+   96.58%     0.00%  swapper          [kernel.kallsyms]        [k] arch_cpu_idle                                                                                                                                                       ▒
+   96.57%     0.00%  swapper          [kernel.kallsyms]        [k] cpuidle_idle_call                                                                                                                                                   ▒
+   96.54%    79.95%  swapper          [kernel.kallsyms]        [k] cpuidle_enter_state                                                                                                                                                 ▒
+   84.88%     0.00%  swapper          [kernel.kallsyms]        [k] start_secondary                                                                                                                                                     ▒
+   16.57%    16.48%  swapper          [kernel.kallsyms]        [k] poll_idle                                                                                                                                                           ▒
+   11.99%     0.00%  swapper          [kernel.kallsyms]        [k] x86_64_start_kernel        

三、总结

  • 用户 CPU 和 Nice CPU 高,说明用户态进程占用了较多的 CPU,所以应该着重排查进程的性能问题。
  • 系统 CPU 高,说明内核态占用了较多的 CPU,所以应该着重排查内核线程或者系统调用的性能问题。
  • I/O 等待 CPU 高,说明等待 I/O 的时间比较长,所以应该着重排查系统存储是不是出现了 I/O 问题。
  • 软中断和硬中断高,说明软中断或硬中断的处理程序占用了较多的 CPU,所以应该着重排查内核中的中断服务程序。
  • 碰到 CPU 使用率升高的问题,你可以借助 top、pidstat 等工具,确认引发 CPU 性能问题的来源;再使用 perf 等工具,排查出引起性能问题的具体函数。
0

评论区