7.14 PWFA

7.14.1 Slurm集群使用简介

7.14.1.1 申请集群帐号

• 帐号申请参考集群帐号申请说明

7.14.1.2 登录集群

• 使用ssh命令登录集群，其中<user_name>为集群帐号

  # 通用登录节点lxlogin
  ssh <user_name>@lxlogin.ihep.ac.cn
  
  # 专用登录节点pvm057
  ssh <user_name>@pvm057.ihep.ac.cn
  

7.14.1.3 使用集群

• 两种方式使用集群：
  • 交互式：使用专用登录节点pvm057，可用于程序调试
  • 提交作业：使用Slurm集群作业提交命令sbatch，在后台运行已调试好的程序
    • 作业可提交到专用分区pwfadebug，也可以提交到共享分区spub
• 更详细的集群使用方法请参考Slurm集群用户手册

7.14.2 可使用的计算资源

• PWFA实验租用公共计算平台服务，目前可使用的计算资源均在Slurm集群中，可分为三类

7.14.3 可使用的存储目录

• PWFA实验使用公共计算平台配套的存储目录/ihepfs，可作为数据及home目录使用，具体路径如下表所示，其中<user_name>代表集群帐号

7.14.4 已安装的软件

7.14.5 Slurm作业脚本样例

• PWFA用户向partition pwfadebug 及spub提交作业时，需在作业脚本中指定partition、account以及qos参数，参数具体值为：

7.14.5.1 QuickPIC

• 以向partition spub提交作业、运行QuickPIC为例，可提交的作业脚本样例qpic_sample_job.sh如下所示：

$ cat qpic_sample_job.sh
#! /bin/bash

#================= Part 1 : job parameters ============
#SBATCH --partition=spub
#SBATCH --account=pwfa
#SBATCH --qos=spubpwfa
#SBATCH --ntasks=64
#SBATCH --mem-per-cpu=4GB
#SBATCH --job-name=quickPIC

#================ Part 2 : run software ===============
source /cvmfs/pwfa.ihep.ac.cn/software/env/QuickPIC_env.sh
mpirun -np 64 /cvmfs/pwfa.ihep.ac.cn/software/QuickPIC-OpenSource-dev/source/qpic.e

脚本说明:

• source /cvmfs/pwfa.ihep.ac.cn/software/env/QuickPIC_env.sh 用于设置运行QuickPIC的环境变量
• qpic.e 是QuickPIC的可执行文件，默认的输入文件为qpinput.json，需要存放在作业提交的当前目录下，具体格式和内容可参考Input File for QuickPIC

• 作业提交命令为

$ sbatch qpic_sample_job.sh

7.14.5.2 fbpic

• 以向partition spub提交作业、运行fbpic为例，可提交的作业脚本样例fbpic_sample_job.sh如下所示：

$ cat fbpic_sample_job.sh
#! /bin/bash

#================= Part 1 : job parameters ============
#SBATCH --partition=spub
#SBATCH --account=pwfa
#SBATCH --qos=spubpwfa
#SBATCH --job-name=fbpic
#SBATCH --ntasks=32
#SBATCH --mem-per-cpu=4G

#================ Part 2 : run software ===============
export PATH=/cvmfs/slurm.ihep.ac.cn/centos7.9/anaconda3/bin:$PATH
source activate fbpic
mpirun -np 32 python lwfa_script.py

脚本说明：

• fbpic安装在anaconda env中，source activate fbpic可加载相关环境变量
• lwfa_script.py 用来运行模拟计算，具体内容请参考fbpic提供的样例python脚本lwfa_script.py

• 作业提交命令为

$ sbatch fbpic_sample_job.sh