跳转至

从工作负载出发设计集群

读者:用户与管理员 · 核对日期:2026-10-04

版本与教学范围

以已安装版本和本地规范为准。先查看 sinfo --version;上游文档在核对时标注为 26.05。路径、分区、账户、模块、内存、MPI、GPU 和服务名称均依站点而定。以 ./ 开头的示例程序必须事先存在。这里只提供教学示例,不是已验证的部署配方,也不表示任何集群已被修改。

先明确职责,再选择硬件

HPC 集群由计算、网络、存储、软件、身份系统和工作负载管理器共同组成。Slurm 负责分配资源并启动任务;它不会替代操作系统、自动部署所有节点,也不会自动将科学程序并行化。

选择硬件之前,先明确各部分职责:

  • 登录节点用于编辑、轻量预处理、数据传输和提交作业。重计算和大型编译应在获得资源分配后执行,或交给专门的构建服务。
  • 计算节点运行应用。控制节点上的 slurmctld 负责调度;各计算节点运行 slurmd,作业步骤由 slurmstepd 管理。
  • 记账系统记录资源使用量及账户关联策略。slurmdbd 负责访问记账数据库,不应向普通用户发放数据库凭据。
  • 存储应分别规定 home、项目结果和临时 scratch 的用途。高速 scratch 并不意味着有备份。

将资源与科学任务匹配

量子化学集群应先描述典型任务:独立分子筛选、单节点多线程计算、内存密集的相关方法、紧耦合 MPI 任务和 GPU 程序对资源的要求不同。只能使用共享内存的程序不会因为申请更多节点而自动加速;软件许可证和并行启动方式同样影响设计。

容量清单

建立容量清单,记录每个作业的实测内存、scratch 容量与 I/O 模式、有效线程或进程数、典型运行时间及并发量。用代表性输入测试,并检查收敛和重启行为。比较科学任务吞吐量与成本,而非只看峰值 FLOPS。小型虚拟机实验可以学习调度,不能代表真实互连或存储性能。

自检:说明批处理脚本在哪里提交、在哪里运行、数据保存在哪里,以及由谁决定启动时间。

官方资料

返回学习路线 · 下一讲:安全搭建实验环境,有计划地部署生产集群