linux cpu 100 排查

问题概述

在Linux系统中，CPU使用率是评估系统负载和性能的一个重要指标，当遇到CPU使用率长时间达到100%时，通常意味着系统正在经历高负载或存在某种异常，这种情况可能导致系统响应变慢，应用程序运行不稳定，甚至造成系统崩溃，快速准确地定位并解决CPU 100%的异常至关重要。

排查流程

1. 确认问题现象

首先需要确认是否真的存在CPU 100%的问题，可以使用top或htop命令实时查看系统的CPU使用情况。

2. 分析系统日志

检查系统日志文件（如/var/log/messages、/var/log/syslog等），看是否有异常信息输出，这有助于发现导致CPU飙升的线索。

3. 定位高CPU进程

通过ps、top或htop命令找到消耗CPU资源最多的进程，重点关注那些占用率异常高的进程。

4. 分析进程行为

对疑似有问题的进程进行进一步分析，例如查看其线程状态、打开的文件描述符、内存使用情况等。

5. 检查系统资源限制

确认是否有相关的资源限制配置（如ulimit、cgroup等）影响了进程的正常运行。

6. 检查外部因素

考虑是否有外部服务请求激增、网络延迟、硬件故障等外部因素影响了系统表现。

7. 代码层面分析

如果上述步骤无法定位问题，可能需要深入到应用程序代码层面进行分析，查看是否存在无限循环、死锁、内存泄漏等问题。

示例分析

以下是一次针对CPU 100%问题的排查过程记录：

1. 确认现象

使用top命令观察到服务器的CPU使用率持续在90%以上，有时甚至达到100%。

2. 分析日志

查看/var/log/syslog发现有大量磁盘I/O等待的信息，提示可能磁盘性能瓶颈。

3. 定位进程

使用top命令发现一个名为mysqld的进程CPU使用率异常高。

4. 进程分析

通过strace工具附加到mysqld进程上，发现有大量的pread和pwrite系统调用，暗示I/O读写频繁。

5. 检查资源限制

检查/etc/security/limits.conf和相关cgroup配置，未发现明显异常。

6. 外部因素分析

检查网络连接正常，没有发现异常流量；服务器硬件状态良好，无故障报警。

7. 代码层面分析

分析MySQL慢查询日志，发现某张大表的复杂查询导致了大量I/O操作。

解决方案与优化建议

根据分析结果，提出以下解决措施：

优化SQL查询语句，避免全表扫描和复杂的联表查询。

为大表添加合适的索引，提高查询效率。

调整MySQL的配置参数，比如增加缓冲区大小，优化线程池设置。

如果I/O确实成为瓶颈，可以考虑使用SSD硬盘或者增加RAID来提高存储性能。

相关问题与解答

Q1: Linux系统中查看CPU使用情况的命令有哪些？

A1: top、htop、vmstat、mpstat等命令都可以查看CPU使用情况。

Q2: CPU使用率高一定是有问题吗？

A2: 不一定，如果是短时间的高CPU使用率可能是因为某些正常的计算密集型任务导致的，需要结合其他信息综合判断。

Q3: 如果系统中没有资源限制配置，是否还需要检查？

A3: 即使没有显式的资源限制配置，也可能有隐含的系统级限制或者内核参数设置影响，因此仍然需要检查。

Q4: 如何确定是代码层面的问题导致的CPU 100%？

A4: 如果排除了系统资源瓶颈、外部因素等，且进程内部状态正常，那么就需要深入分析应用程序代码逻辑，查看是否存在效率问题或者逻辑错误。