Linux 服务器突然负载暴增，告警短信快发爆你的手机，如何在最短时间内找出 Linux性能问题所在？
通过执行以下十条命令，可以在 1 分钟内对系统资源使用情况有个大致的了
解，在一分钟内对机器性能问题进行诊断。

uptime
dmesg | tail
vmstat 1
mpstat -P ALL 1
pidstat 1
iostat -xz 1
free -m
sar -n DEV 1
sar -n TCP,ETCP 1
top

其中一些命令需要安装 sysstat 包，有一些由 procps 包提供。这些命令的输出，有助于快速定位性能瓶颈，检查出所有资源（CPU、内存、磁盘 IO 等）的利用率（utilization）、饱和度（saturation）和错误（error）度量，也就是所谓的 USE 方法。

uptime

Uptaime 命令可以快速查看机器的负载情况。在 Linux 系统中，这些数据表示等待 CPU 资源的进程和阻塞在不可断 IO 进程（进程状态为 D）的数量。这些数据可以是我们对系统资源使用有一个宏观的了解。

1 2	[root@localhost ~]# uptime 22:13:19 up 38 min, 3 users, load average: 0.15, 0.31, 0.28

命令的输出分别表示 1 分钟、5 分钟、15 分钟的平均负载情况。通过这三个数据，可以了解服务器负载是在于紧张还是区域缓解。

如果 1 分钟平均负载很高，而 15 分钟平均负载很低，说明服务器正在命令高负载情况，需要进一步排查 CPU 资源都消耗在了哪里。反之，如果 15 分钟平均负载很高，1 分钟平均负载较低，则有可能是 CPU 资源紧张时刻已经过去。

从上面的中的输出，可以看见最近 1 分钟的平均负载非常高，且远高于最近 15 分钟负载，因此需要继续排查当前系统中有什么进程消耗了大量的资源。可以通过下文将会介绍的vmstat、mpstat 等命令进一步排查。

dmesg | tail

dmesg 命令用来帮助用户了解系统的启动信息。

[root@localhost ~]# dmesg | tail
[ 34.030381] intel_rapl: no valid rapl domains found in package 0
[ 34.426462] Adding 2097148k swap on /dev/mapper/cl-swap. Priority:-1
extents:1 across:2097148k FS
[ 34.432204] XFS (sda1): Mounting V5 Filesystem
[ 35.264011] floppy0: no floppy controllers found
[ 35.264208] work still pending
[ 35.972859] XFS (sda1): Ending clean mount
[ 37.805777] type=1305 audit(1503670496.246:3): audit_pid=606 old=0
auid=4294967295 ses=4294967295 subj=system_u:system_r:auditd_t:s0 res=1
[ 39.091684] NET: Registered protocol family 40
[ 42.367549] IPv6: ADDRCONF(NETDEV_UP): ens33: link is not ready
[ 42.386411] e1000: ens33 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: 
None

该命令输出系统日志的最后 10 行，从示例中的输出可以看到 ens33 网卡以 1000Mbps，全双工方式正常启动。这些日志可以帮助排查性能问题。

vmstat 1

vmstat 命令，每行会输出一些系统核心指标，这些指标可以让我们更详细的了解系统状态。

[root@localhost ~]# vmstat 1
procs -------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 0 0 1812152 948 128820 0 0 88 11 81 152 1 2 96 2 0
0 0 0 1812152 948 128852 0 0 0 0 71 126 0 0 100 0 0
0 0 0 1812152 948 128852 0 0 0 0 68 116 0 1 99 0 0

后面跟的数 1，表示每秒输出一次统计信息，表头提示了每一列的含义，这几介绍一些和性能调优相关的列：
r：等待在 CPU 资源的进程数。这个数据比平均负载更加能够体现 CPU 负载情况，数据中不包含等待 IO 的进程。如果这个数值大于机器 CPU 核数，那么机器的 CPU 资源已经饱和。

free：系统可用内存数（以千字节为单位），如果剩余内存不足，也会导致系统性能问题。下文介到的 free 命令，可以更详细的了解系统内存的使用情况。

si, so：交换区写入和读取的数量。如果这个数据不为 0，说明系统已经在使用交换区（swap），机器物理内存已经不足。

us, sy, id, wa, st：这些都代表了 CPU 时间的消耗，它们分别表示用户时间（user）、系统（内核）时间（sys）、空闲时间（idle）、IO 等待时间（wait）和被偷走的时间（stolen，一般被其他虚拟机消耗）。

上述这些 CPU 时间，可以让我们很快了解 CPU 是否出于繁忙状态。一般情况下，如果用户时间和系统时间相非常大，CPU 出于忙于执行指令。如果 IO 等待时间很长，那么系统的瓶颈可能在磁盘 IO。

mpstat

该命令可以显示每个 CPU 的占用情况，如果有一个 CPU 占用率特别高，那么有可能是一个单线程应用程序引的。

[root@localhost ~]# mpstat
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 08/25/2017_x86_64_(1 CPU)
10:54:39PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
10:54:39PM all 4.2 0.00 5.29 2.36 0.00 0.15 0.00 0.00 0.00 88.00

pidstat

pidstat 命令输出进程的 CPU 占用率，该命令会持续输出，并且不会覆盖之前的数据

[root@localhost ~]# pidstat 1
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain)08/25/2017 _x86_64_(1 CPU)
10:59:49 PM UID PID %usr %system %guest %CPU CPU Command
10:59:50 PM 0 1011 0.00 0.99 0.00 0.99 0 kworker/0:0
10:59:50 PM 0 1079 0.00 0.99 0.00 0.99 0 pidstat
10:59:50 PM 0 6521 1596.23 1.89 0.00 1598.11 27 java
10:59:50 PM 0 6564 1571.70 7.55 0.00 1579.25 28 java

可以方便观察系统动态。如上的输出，可以看见两个 JAVA 进程占用了将近 1600%的 CPU时间，既消耗了大约 16 个 CPU 核心的运算资源。

iostat

iostat 命令主要用于查看机器磁盘 IO 情况。

[root@localhost ~]# iostat -xz 1
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 08/25/2017 _x86_64_(1 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
 2.23 0.00 2.97 1.26 0.00 93.53
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await
w_await svctm %util
sda 0.00 0.25 5.89 1.18 225.70 138.41 103.06 0.54 77.55 13.05
400.58 6.28 4.44
scd0 0.00 0.00 0.01 0.00 0.04 0.00 8.00 0.00 32.09 32.09
0.00 32.09 0.03
dm-0 0.00 0.00 3.78 1.42 219.31 136.46 136.82 0.67 129.22 19.63
421.49 8.27 4.30
dm-1 0.00 0.00 0.12 0.00 1.01 0.00 16.69 0.00 1.27 1.27
0.00 1.19 0.01

该命令输出的列，主要含义是：
r/s, w/s, rkB/s, wkB/s：分别表示每秒读写次数和每秒读写数据量（千字节）。读写量过大，可会引起性能问题。

await：IO 操作的平均等待时间，单位是毫秒。这是应用程序在和磁盘交互时，需要消耗的时间，包括 IO 等待和实际操作的耗时。如果这个数值过大，可能是硬件设备遇到了瓶颈或者出现故障。

avgqu-sz：向设备发出的请求平均数量。如果这个数值大于 1，可能是硬件设备已经饱和（部分前端硬件设备支持并行写入）。

%util：设备利用率。这个数值表示设备的繁忙程度，经验值是如果超过 60，可能会影响 IO 性能（可以参照 IO 操作平均等待时间）。如果到达 100%，说明硬件设备已经饱和。如果显示的是逻辑设备的数据，那么设备利用率不代表后端实际的硬件设备已经饱和。值得注意的是，即 IO 性能不理想，也不一定意味这应用程序性能会不好，可以利用诸如预读取、写缓存等策略提升应用性能。

free

free 命令可以查看系统内存的使用情况

[root@localhost ~]# free -m
 total used free shared buff/cache available
Mem: 1984 284 1295 8 404 1518
Swap: 2047 0 2047

其中-m 参数表示按照兆字节展示。最后两列分别表示用于 IO 缓存的内数，和用于文件系统页缓存的内存数。需要注意的是，第二行-/+ buffers/cache，看上去缓存占用了大内存空间。这是 Linux 系统的内存使用策略，尽可能的利用内存，如果应用程序需要内存，这部分内存会即被回收并分配给应用程序。因此，这部分内存一般也被当成是可用内存。
如果可用内存非常少，系统可能会动用交换区（如果配置了的话），这样会增加 IO 开销（可以在 iostat 命中提现），降低系统性能。

sar

sar 命令在这里可以查看网络设备的吞吐率。在排查性能问题时，可以通过网络设备的吞吐量，判断网络设备是否已经饱和。

[root@localhost ~]# sar -n DEV 1
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 08/25/2017 _x86_64_(1 CPU)
11:07:42 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
11:07:43 PM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
11:07:43 PM ens33 14.85 0.00 1.66 0.00 0.00 0.00 0.00
sar 命令还可以用于查看 TCP 连接状态，
[root@localhost ~]# sar -n TCP,ETCP 1
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 08/25/2017 _x86_64_(1 CPU)
11:25:03 PM active/s passive/s iseg/s oseg/s
11:25:04 PM 0.00 0.00 1.01 1.01
11:25:03 PM atmptf/s estres/s retrans/s isegerr/s orsts/s
11:25:04 PM 0.00 0.00 0.00 0.00 0.00

输出数据其中包括：
active/s：每秒本地发起的 TCP 连接数，既通过 connect 调用创建的 TCP 连接；
passive/s：每秒远程发起的 TCP 连接数，即通过 accept 调用创建的 TCP 连接；
retrans/s：每秒 TCP 重传数量；
TCP 连接数可以用来判断性能问题是否由于建立了过多的连接，进一步可以判断是主动发起的连接，还是被动接受的连接。TCP 重传可能是因为网络环境恶劣，或者服务器压力过大导致丢包。

top

Top 命令能够实时显示系统中各个进程的资源占用状况。

[root@localhost ~]# top
top - 23:10:34 up 25 min, 2 users, load average: 0.00, 0.02, 0.05
Tasks: 89 total, 2 running, 87 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0
st
KiB Mem : 2032128 total, 1325336 free, 291652 used, 415140 buff/cache
KiB Swap: 2097148 total, 2097148 free, 0 used. 1554224 avail Mem
 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 
 633 root 20 0 302432 5984 4644 S 0.3 0.3 0:04.36 vmtoolsd
 1117 root 20 0 157576 2132 1520 R 0.3 0.1 0:00.10 top
 1 root 20 0 128092 6712 3956 S 0.0 0.3 0:05.18 systemd
 2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
 3 root 20 0 0 0 0 S 0.0 0.0 0:02.07 ksoftirqd

top 命令包含了前面好几个命令的检查的内容。比如系统负载情况（uptime）、系统内存使用情况（free）、系统 CPU 使用情况（vmstat）等。因此通过这个命令，可以相对全面的查看系统负载的来源。

top 命令支持排序，可以按照不同的列排序，方便查找出诸如内存占用最多的进程、CPU 占用率最高的进程等。但是，top 命令相对于前面一些命令，输出是一个瞬间值，如果不持续盯着，可能会错过一些线索。这时可能需要暂停 top 命令刷新，来记录和比对数据。

排查 Linux 服务器性能问题还有很多工具，上面介绍的一些命令，可以帮助我们快速的定位问题。例如前面的示例输出，多个证据证明有 JAVA 进程占用了大量 CPU 资源，之后的性能调优就可以针对应用程序进行。

Youlegu'Blog

检查 Linux 服务器性能九条命令