# CPU > over all check commands - sar, vmstat, top > > Detailed check - mpstat Points * CPU usage - 哪些进程占用CPU * CPU过载 - 需求的CPU 大于实际CPU数目 * CPU 本身故障 ### Granter CPU info `cat /proc/cpuinfo | grep processor` `lscpu` ### Troubleshooting steps ``` #top show overall views and 1 show all cpus status top + 1 # vmstat check r and b vmstat 2 # refreah in 2 seconds, check cpus sar -u 2 # mpstat check all or each cpu status mpstat -P ALL 2 mpstat -P 2 2 # check processor 2 status ``` ## Top 默认进入top 是按照CPU 排序的 ``` top - 15:20:33 up 7 days, 12:15, 1 user, load average: 0.01, 0.02, 0.00 Tasks: 107 total, 1 running, 59 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.1 us, 0.2 sy, 0.0 ni, 99.6 id, 0.2 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem : 933940 total, 132316 free, 107456 used, 694168 buff/cache KiB Swap: 0 total, 0 free, 0 used. 806876 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 26022 rjin 20 0 9252 3752 3152 R 0.7 0.4 0:00.09 top 1 root 20 0 161128 8548 6088 S 0.0 0.9 1:05.65 systemd 2 root 20 0 0 0 0 S 0.0 0.0 0:00.87 kthreadd 4 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 kworker/0:0H 6 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 mm_percpu_wq 7 root 20 0 0 0 0 S 0.0 0.0 0:00.96 ksoftirqd/0 ``` 按下数字“1”，显示所有CPU 状况 ``` top - 15:18:17 up 7 days, 12:13, 1 user, load average: 0.08, 0.04, 0.00 Tasks: 107 total, 1 running, 59 sleeping, 0 stopped, 0 zombie %Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu1 : 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu3 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem : 933940 total, 132160 free, 107620 used, 694160 buff/cache KiB Swap: 0 total, 0 free, 0 used. 806712 avail Mem ``` > shift + p list highest cpu pid > > top -Hp pid # -H threads > top -u userid ## Sar sar -u 2 ``` root@shubuntu  ~  sar -u 2  2 ↵  ⚡  23  05:07:31 Linux 4.15.0-1031-raspi2 (shubuntu) 07/18/19 _aarch64_ (4 CPU) 05:07:36 CPU %user %nice %system %iowait %steal %idle 05:07:38 all 0.00 0.00 0.13 0.00 0.00 99.87 05:07:40 all 0.00 0.00 0.25 0.00 0.00 99.75 05:07:42 all 0.00 0.00 0.13 0.25 0.00 99.62 ``` ``` %user 用户模式下消耗的CPU时间的比例； %nice 通过nice改变了进程调度优先级的进程，在用户模式下消耗的CPU时间的比例 %system 系统模式下消耗的CPU时间的比例； %iowait CPU等待磁盘I/O导致空闲状态消耗的时间比例； %steal 利用Xen等操作系统虚拟化技术，等待其它虚拟CPU计算占用的时间比例； %idle CPU空闲时间比例； ``` useful command > sar -u 2 > > sar -u -f /va/log/sa/sa17 ## Vmstat > overall to check CPU status ``` procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 1 0 3081060 110020 869352 0 0 2 20 32 46 1 0 99 0 0 0 0 0 3081036 110024 869352 0 0 0 2 80 93 0 0 86 14 0 0 0 0 3080912 110024 869352 0 0 0 0 121 166 0 0 100 0 0 0 0 0 3080912 110024 869360 0 0 0 0 89 105 0 0 100 0 0 ``` > 关注几点 r, b ``` r 表示运行队列(就是说多少个进程真的分配到CPU) b 表示阻塞的进程 si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。 us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。 sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。 id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。 wt 等待IO CPU时间 ``` ## mpstat - Multiprocessor Statistics > Check more info of CPU ``` root@shubuntu  ~  mpstat -P ALL 2  ✔  ⚡  21  05:06:06 Linux 4.15.0-1031-raspi2 (shubuntu) 07/18/19 _aarch64_ (4 CPU) 05:06:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 05:06:12 all 0.00 0.00 0.00 0.25 0.00 0.00 0.00 0.00 0.00 99.75 05:06:12 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 05:06:12 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 05:06:12 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 05:06:12 3 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 98.99 ``` ``` %user 在internal时间段里，用户态的CPU时间(%)，不包含nice值为负进程 (usr/total)*100 %nice 在internal时间段里，nice值为负进程的CPU时间(%) (nice/total)*100 %sys 在internal时间段里，内核时间(%) (system/total)*100 %iowait 在internal时间段里，硬盘IO等待时间(%) (iowait/total)*100 %irq 在internal时间段里，硬中断时间(%) (irq/total)*100 %soft 在internal时间段里，软中断时间(%) (softirq/total)*100 %idle 在internal时间段里，CPU除去等待磁盘IO操作外的因为任何原因而空闲的时间闲置时间(%) (idle/total)*100 ``` > Useful command: mpstat -P ALL 2 mpstat -P 2 2 # check cpu 2 status, refresh every 2 seconds