Donau集群作业管理完全手册：squeue、sacct、scancel命令详解

Donau集群作业管理完全手册squeue、sacct、scancel命令详解【免费下载链接】donau-slurm-wrappersdonau-slurm-wrappers provide some scripts for Slurm Users to submit and manage jobs in Donau cluster environment项目地址: https://gitcode.com/openeuler/donau-slurm-wrappers前往项目官网免费下载https://ar.openeuler.org/ar/想要在Donau集群中高效管理作业吗 对于习惯使用Slurm命令的用户来说donau-slurm-wrappers提供了完美的解决方案这个开源工具包让您能够在Donau集群环境中使用熟悉的Slurm风格命令来提交、查询和管理作业大大降低了学习成本。本文将为您详细解析三个核心作业管理命令squeue、sacct和scancel帮助您快速掌握Donau集群作业管理的精髓。 什么是donau-slurm-wrappersdonau-slurm-wrappers是一套为Donau集群用户设计的脚本工具包专门为习惯使用Slurm命令的用户提供无缝过渡体验。通过将Slurm风格的命令转换为Donau的原生命令它让您能够在Donau集群中继续使用熟悉的作业管理方式。核心功能包括作业提交命令srun、sbatch作业查询命令squeue、sacct作业控制命令scancel、scontrol节点查询命令sinfo squeue命令实时作业状态查询squeue命令是查看集群中未完成作业状态的利器它支持查询RUNNING运行中、PENDING等待中、SUSPENDED暂停状态的作业对应Donau作业的RUNNING、PENDING/WAITING、STOPPED状态。基本使用语法squeue [--job jobid] [-n name] [-p partitions] [-t states] [-u user_name] [--usage] [-l]常用参数详解参数说明示例-j, --job指定作业ID支持多个用逗号分隔squeue -j 520,521-l, --long显示详细格式信息squeue -l-n, --name按作业名称筛选squeue -n test_job-p, --partition按分区筛选squeue -p root.q1-t, --states按状态筛选squeue -t RUNNING-u, --user按用户筛选squeue -u test_user实际使用示例查看所有作业$ squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 520 root.q1 default test_st PD 0:00 - 20615 521 root.q1 default test_st PD 0:00 - 10101 522 root.q1 default test_st S 11:28:42 1 kwephicprd18119查看详细格式$ squeue -l Wed Oct 19 09:30:34 2022 JOBID PARTITION NAME USER STATE TIME TIME_LIMI NODES NODELIST(REASON) 520 root.q1 default test_st PENDING 0:00 UNLIMITED - 20615 521 root.q1 default test_st PENDING 0:00 UNLIMITED - 10101 522 root.q1 default test_st SUSPENDE 11:29:22 UNLIMITED 1 kwephicprd18119状态说明ST列作业状态R运行中PD等待中S暂停NODELIST(REASON)列显示节点列表或未调度原因代码TIME列作业已运行时间 sacct命令作业记账信息查询sacct命令用于查询已完成、失败、取消或正在运行的作业的记账信息是作业审计和分析的重要工具基本使用语法sacct [--name job_names] [-S starttime] [-E endtime] [-r partition] [-s state] [-u user] [-j jobs] [-b]核心参数解析参数说明示例-b, --brief简要格式显示sacct -b-S, --starttime指定开始时间sacct -S 2023/01/01 08:00:00-E, --endtime指定结束时间sacct -E 2023/01/02 18:00:00--name按作业名称筛选sacct --name test_job-r, --partition按分区筛选sacct -r root.q1-s, --state按状态筛选sacct -s COMPLETED-u, --user按用户筛选sacct -u test_user-j, --jobs指定作业IDsacct -j 315,343状态对应关系Slurm状态Donau状态说明COMPLETEDSUCCEEDED作业成功完成FAILEDFAILED作业失败CANCELLEDFAILED作业被取消RUNNINGRUNNING作业正在运行使用示例查看所有作业记账信息$ sacct JobID JobName Partition Account AllocCPUS State ExitCode ------------ ---------- ---------- ---------- ---------- ---------- -------- 315 default root.q1 0 CANCELLED 0:9 343 default root.defau 1 FAILED 1:0 519 default root.q1 1 RUNNING 0:0 524 default root.q1 1 COMPLETED 0:0简要格式显示$ sacct -b JobID State ExitCode ------------ ---------- -------- 315 CANCELLED 0:9 343 FAILED 1:0 519 RUNNING 0:0 524 COMPLETED 0:0按时间范围查询$ sacct -S 2022/10/01 00:00:00 -E 2022/10/31 23:59:59 scancel命令作业终止管理scancel命令是作业管理的紧急刹车用于终止未完成的作业当您需要立即停止某个作业时这个命令就派上用场了。基本使用语法scancel [-n job_name] [-p partitions] [-t PENDING | RUNNING | SUSPENDED] [--usage] [-u user_name] [job_id]参数详解参数说明示例-n, --name按作业名称终止scancel -n test_job-p, --partition终止指定分区的作业scancel -p root.q1-t, --state终止指定状态的作业scancel -t RUNNING-u, --user终止指定用户的作业scancel -u test_user使用技巧终止单个作业$ scancel 520终止多个作业$ scancel 520 521 522 # 或者使用逗号分隔 $ scancel 520,521,522终止指定名称的所有作业$ scancel -n test_job终止指定用户的所有运行中作业$ scancel -u test_user -t RUNNING权限说明普通用户只能终止自己的作业管理员用户可以终止所有用户的作业 环境变量支持这三个命令都支持通过环境变量设置参数优先级低于命令行选项squeue环境变量SQUEUE_NAMES同-n参数SQUEUE_STATES同-t参数SQUEUE_USERS同-u参数SQUEUE_PARTITION同-p参数sacct环境变量通过环境变量设置时间范围、状态等参数scancel环境变量SCANCEL_NAME同-n参数SCANCEL_STATE同-t参数SCANCEL_USER同-u参数SCANCEL_PARTITION同-p参数 实用技巧与最佳实践1. 组合使用提高效率# 先查看运行中的作业 $ squeue -t RUNNING # 然后终止特定用户的运行中作业 $ scancel -u test_user -t RUNNING # 最后查看作业状态确认 $ sacct -s CANCELLED2. 调试模式开启设置环境变量SLURM_TO_DONAU_DEBUGtrue可以开启调试日志每个脚本会在/tmp目录下生成对应的日志文件方便排查问题。3. 权限管理注意事项脚本不支持root用户调用普通用户无法查询或终止其他用户的作业管理员用户拥有完整权限4. 常见错误处理Token过期错误执行dconfig命令重新获取token权限不足错误检查用户是否加入相应的用户组或管理员组作业不存在错误确认作业ID是否正确 总结通过donau-slurm-wrappersSlurm用户可以无缝地在Donau集群中继续使用熟悉的作业管理命令。squeue、sacct和scancel这三个核心命令构成了完整的作业管理闭环squeue实时监控作业状态了解集群负载情况sacct历史作业审计分析作业执行情况scancel作业控制管理及时终止不需要的作业掌握这三个命令您就能高效地在Donau集群中管理作业提高工作效率 无论是日常作业提交、状态监控还是故障排查和资源优化这套工具都能为您提供强大的支持。立即开始使用只需按照安装教程配置环境变量您就能在Donau集群中体验Slurm风格的作业管理享受无缝过渡的便利【免费下载链接】donau-slurm-wrappersdonau-slurm-wrappers provide some scripts for Slurm Users to submit and manage jobs in Donau cluster environment项目地址: https://gitcode.com/openeuler/donau-slurm-wrappers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考