Linux系统排查2——CPU负载篇

目录#

CPU负载基本概念
常用排查命令
- top命令
- ps命令
- mpstat命令
分析CPU负载过高原因
- 进程问题
- 系统资源竞争
- 硬件问题
解决CPU负载过高的常见方法
- 优化进程
- 调整系统参数
- 硬件升级
最佳实践
示例分析
参考资料

1. CPU负载基本概念#

CPU负载是指在一段时间内，CPU处于可运行状态（正在执行或等待执行）的平均进程数。它反映了系统的繁忙程度。一般来说，当CPU负载高于系统逻辑CPU核心数时，可能存在性能问题。例如，一个4核CPU系统，负载长期高于4，就需要关注。

2. 常用排查命令#

`top`命令#

功能：实时动态显示系统中各个进程的资源占用情况，包括CPU使用率等。
示例：
```
top
```
按1键可以显示每个CPU核心的使用情况。在输出结果中，重点关注%CPU（CPU使用率）和load average（负载平均值，分别表示过去1分钟、5分钟、15分钟的负载）。

`ps`命令#

功能：查看系统中进程的详细信息。
示例：
```
ps -eo pid,ppid,cmd,%cpu,%mem --sort=-%cpu | head -n 10
```
此命令列出CPU使用率最高的前10个进程，pid是进程ID，%cpu是CPU使用率。

`mpstat`命令#

功能：报告与CPU相关的统计信息，可按CPU核心分别显示。
示例：
```
mpstat -P ALL 1
```
每1秒显示一次所有CPU核心的统计信息，%idle表示空闲率，%usr表示用户空间程序占用率等。

3. 分析CPU负载过高原因#

进程问题#

单个进程CPU使用率过高：通过ps或top命令找到高CPU使用率的进程。可能是程序存在死循环、算法效率低下等问题。例如，一个Python脚本中循环没有正确终止条件。
大量进程竞争CPU：系统中同时运行过多进程，导致CPU资源紧张。比如，大量后台任务同时启动。

系统资源竞争#

I/O等待：如果磁盘I/O性能差，进程在等待I/O操作完成时，CPU可能处于空闲但系统负载高（因为进程处于可运行状态等待I/O结束）。可通过iostat命令查看磁盘I/O情况。
内存不足：当内存不足时，系统会频繁进行磁盘交换（swap），这会增加CPU开销（处理交换相关操作）。用free -h查看内存使用情况。

硬件问题#

CPU故障：极少数情况下，CPU硬件本身出现故障，导致性能异常。可通过硬件检测工具（如厂商提供的诊断工具）检查。
散热问题：CPU过热会触发降频机制，导致性能下降但负载可能看起来高（因为任务处理变慢）。检查服务器散热风扇、散热片等。

4. 解决CPU负载过高的常见方法#

优化进程#

代码优化：对于高CPU使用率的进程，如果是自定义程序，检查代码逻辑。例如，优化数据库查询语句（减少全表扫描）、优化算法复杂度。
终止不必要进程：使用kill命令终止一些无关紧要的高CPU进程（注意先确认进程是否可终止，避免影响业务）。如：
```
kill -9 <pid>
```

调整系统参数#

调整进程调度策略：对于一些实时性要求高的进程，可调整其优先级。使用nice或renice命令。例如：
```
renice -n -5 <pid>
```
降低进程优先级（数值越小优先级越高，范围-20到19）。
优化内核参数：如调整sysctl.conf中的vm.swappiness（控制内存交换倾向，值越低越不倾向于交换，默认60，可适当调低如10 - 20）。

硬件升级#

增加CPU核心：如果是长期高负载且业务增长导致，可考虑升级服务器CPU，增加核心数。
更换高性能磁盘：解决I/O瓶颈问题，提升整体系统性能。

5. 最佳实践#

定期监控：设置定时任务，定期运行top、ps等命令并记录结果，建立系统性能基线，便于及时发现异常。
测试环境验证：在生产环境优化前，先在测试环境模拟验证，避免影响业务。
文档记录：记录每次CPU负载问题的排查过程、原因和解决方法，方便后续参考。

6. 示例分析#

假设通过top命令发现httpd进程（Web服务器进程）CPU使用率长期在80%以上。进一步用ps查看其线程情况（ps -T -p <httpd_pid>），发现某个线程CPU使用率极高。检查Web服务器日志，发现是某个页面的数据库查询语句没有加索引，导致全表扫描。优化查询语句添加索引后，CPU使用率下降到20%左右。

7. 参考资料#

Linux Manual Pages
《Linux系统管理技术手册》
Red Hat官方文档

通过以上步骤和方法，系统管理员可以较为全面地排查Linux系统中的CPU负载问题，保障系统的稳定运行。

目录#