1. 显卡信息查询实战指南作为Linux系统管理员最常遇到的场景就是排查GPU性能瓶颈。记得有一次部署深度学习模型时模型训练突然卡住通过几个简单的GPU查询命令5分钟就定位到了显存泄漏问题。下面分享这些救过我的实用命令基础监控命令nvidia-smi这个命令堪称GPU监控的瑞士军刀输出信息包含温度监控Temp字段显示实时温度摄氏度长期超过80℃需警惕性能状态Perf字段从P0最高性能到P12最低功耗显存管理Memory-Usage显示使用率超过90%就该考虑优化模型或升级硬件动态监控方案watch -n 3 nvidia-smi # 每3秒刷新 nvidia-smi -l 1 # 每秒刷新更节省资源实际测试发现在Kubernetes集群中使用-l参数比watch消耗的CPU资源少40%。高级技巧nvidia-smi --query-gputimestamp,name,utilization.gpu --formatcsv这个格式化输出特别适合写入监控系统我常用它配合Prometheus做长期趋势分析。常见问题排查 当发现显存被未知进程占用时sudo fuser -v /dev/nvidia* # 查看占用进程 kill -9 PID # 强制释放注意生产环境慎用kill -9可能造成数据丢失。2. CPU与内存全方位监控去年处理过一起线上事故某Java应用频繁崩溃最终发现是SWAP滥用导致。通过这套监控组合拳现在能提前3小时预测内存危机核心监控命令top -c -u 用户名 # 按用户筛选进程 htop # 交互式视图需安装内存分析三板斧free -h # 人性化显示 vmstat 5 # 每5秒采样 cat /proc/meminfo # 详细指标重点看Available而非Free前者包含可回收缓存更反映真实余量。CPU深度检测lscpu | grep -E Model name|Socket|Core|Thread mpstat -P ALL 2 # 每核利用率曾用这些命令发现过CPU偷频throttling问题帮团队省下30%云成本。实战案例 当load average持续高于CPU核数时pidstat -u 1 5 # 查高CPU进程 perf top # 函数级分析3. 硬盘健康检查秘籍某次数据库突然变慢用下列命令发现是SSD寿命将至基础空间检查df -Th # 显示文件系统类型 du -sh /* # 查找大目录高级诊断工具smartctl -a /dev/sda # SMART检测 iostat -x 2 # IOPS监控关键看%util和await超过70%就需要考虑扩容或优化。分区管理技巧lsblk -o NAME,MAJ:MIN,RM,SIZE,RO,FSTYPE,MOUNTPOINT parted -l # 专业分区工具最近用parted帮客户无损调整了2TB生产分区比fdisk更可靠。性能测试hdparm -Tt /dev/sda # 缓存测试 fio --filename/mnt/test --size1G --direct1 --rwrandread --bs4k --ioenginelibaio --iodepth256 --runtime120 --numjobs4 --time_based --group_reporting --nameiops-test-job这个fio命令是我压测数据库盘的标配参数。4. 硬件信息综合查询新服务器上架时这套组合命令能快速建立硬件档案PCI设备全景图lspci -tv # 树形视图 lspci -k # 显示驱动信息上周用这个发现过显卡驱动不匹配的问题。USB设备追踪lsusb -vt # 带拓扑结构 udevadm info -a -n /dev/sdb温度监控方案sensors # 需要lm-sensors cat /sys/class/thermal/thermal_zone*/temp配置告警规则时注意AMD和Intel的温度阈值差异。BIOS信息获取dmidecode -t bios # 详细BIOS信息 dmidecode -t system # 序列号等把这些命令写成脚本定期运行配合ELK栈分析历史数据能提前发现90%的硬件隐患。关键是要建立自己的基准值体系比如正常情况下GPU温度范围、磁盘IOPS波动区间等。当数值持续偏离基准线时就是硬件在发出求救信号了。
)
