跳转至

诊断、测量与组织科学工作流

读者:集群用户 · 核对日期:2026-10-04

版本与教学范围

以已安装版本和本地规范为准。先查看 sinfo --version;上游文档在核对时标注为 26.05。路径、分区、账户、模块、内存、MPI、GPU 和服务名称均依站点而定。以 ./ 开头的示例程序必须事先存在。这里只提供教学示例,不是已验证的部署配方,也不表示任何集群已被修改。

重提交前先诊断

大规模重提交前,先诊断最小可观察故障:

  • PENDING:查看等待原因。Priority 和 Resources 通常表示正常排队;QOS/账户限制或依赖则需要不同处理。显示的原因可能只是当前阻塞条件之一。
  • OUT_OF_MEMORY:检查步骤级内存数据及应用内存模型。可以减少进程数、改进任务分解,或申请有依据的余量;不要把 MaxRSS 当作所有进程内存之和。
  • TIMEOUT:区分运行缓慢与挂起,合理估算时限,并使用应用检查点。
  • FAILED/NODE_FAIL:检查标准错误、退出码、科学输出和节点信息。Slurm 的 COMPLETED 不代表科学计算已收敛,更不代表物理模型正确。
scontrol show job 12345
sacct -j 12345 --format=JobID,State,ExitCode,Elapsed,AllocCPUS,MaxRSS
# For a known running step; replace both job and step IDs:
sstat -j 12345.0 --format=JobID,AveCPU,MaxRSS

查询需替换真实作业和步骤 ID。记账可能延迟或不完整,可用指标取决于采集配置。区分作业行与步骤行。向支持团队提供 ID、时间、最小复现、模块清单和原始报错,并删除秘密信息。

独立输入:作业数组

对独立分子输入,作业数组通常比手工提交数百次更清晰。预先创建 inputs.txt,每行一个安全的相对文件名,并建立 results 目录。示例处理 20 个输入,最多同时运行四个数组元素;每个元素独立申请一个任务、一个 CPU、2G 内存和二十分钟。

#!/bin/bash
#SBATCH --array=0-19%4
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=1
#SBATCH --mem=2G
#SBATCH --time=00:20:00
#SBATCH --output=array-%A_%a.out
set -euo pipefail
input=$(sed -n "$((SLURM_ARRAY_TASK_ID + 1))p" inputs.txt)
[[ -n "$input" && -f "$input" ]] || { echo 'Invalid input' >&2; exit 2; }
srun ./serial_solver "$input" > "results/result-${SLURM_ARRAY_TASK_ID}.txt"

数组元素不能互相覆盖输出或 scratch。每个元素都有独立资源请求,完成顺序不保证与编号一致。数组范围应与固定输入清单一致,不要依赖运行期间持续变化的目录列表。

依赖经过验证的计算阶段

在提交主机的 Bash 中执行下面的序列:先提交数组,取得 ID,再以 afterok 提交已有的分析脚本。

set -euo pipefail
jid=$(sbatch --parsable array.sbatch)
jid=${jid%%;*}  # Remove an optional cluster suffix.
sbatch --dependency="afterok:${jid}" analyze.sbatch

analyze.sbatch 必须事先存在。依赖检查调度层成功状态,并不验证科学结果。计算脚本应在结果验证失败时返回非零退出码;依赖失败时应检查上游,而不是反复提交下游。

衡量科学任务吞吐量

性能测试应固定分子、方法、基组、收敛阈值和软件环境,测量不同资源规模的时间及 CPU/GPU 成本。资源翻倍却只节省 10% 时间,可能降低整个项目吞吐量。应区分计算、通信、内存和 I/O 瓶颈;硬件升级不能修复错误的科学模型。

官方资料

上一讲:可观测、可恢复且不打扰用户的运维 · 返回学习路线