7.5 ATLAS
7.5.1 综述
ATLAS 的计算资源分为Tier2和Tier3两部分,其中Tier2资源为网格计算/存储资源,Tier3为提供给本地用户使用的计算/存储资源。
7.5.2 Tier3登录结点
(1) IHEP 登录节点(位于公网)
lxlogin.ihep.ac.cn (4个节点)
(2)ATLAS专用登录节点
atlasui01.ihep.ac.cn atlasui02.ihep.ac.cn(SL6系统,2个节点,公网)
atlasui03.ihep.ac.cn-atlasui06.ihep.ac.cn(SL6系统,4个节点,内网)
7.5.3 Tier3 计算资源
队列名 | 优先级 | 作业时间 | 队列最多运行作业数 | 用户最大运行数 | 用户可排队数 | 队列可排队数 | 结点类型 | 结点列表 |
---|---|---|---|---|---|---|---|---|
atlaslque | 高 | 无限制 | 150 | 150 | 700 | 1000 | SL6 | aws134-aws162 |
atlassque | 低 | 1小时 | 304 | 304 | 700 | 1000 | SL6 | aws134-aws162 |
Atlas6q | 高 | 无限制 | 150 | 150 | 500 | 1000 | SL6 | aws163-aws177 |
7.5.4 Tier3存储
公共存储区域(Lustre文件系统)
• /publicfs/atlas (870TB)
可以从登陆节点上运行命令,查询存储目录的使用情况。
]# lfs df -h -p acfs.atlaspool /publicfs
UUID bytes Used Available Use% Mounted on
acfs-MDT0000_UUID 622.1G 39.2G 541.0G 7% /publicfs[MDT:0]
acfs-OST0018_UUID 16.2T 14.0T 1.4T 91% /publicfs[OST:24]
acfs-OST0019_UUID 16.2T 13.9T 1.5T 90% /publicfs[OST:25]
acfs-OST001a_UUID 16.2T 14.0T 1.5T 91% /publicfs[OST:26]
acfs-OST001b_UUID 16.2T 14.2T 1.2T 92% /publicfs[OST:27]
acfs-OST001c_UUID 16.2T 13.9T 1.5T 90% /publicfs[OST:28]
acfs-OST001d_UUID 16.2T 13.8T 1.6T 90% /publicfs[OST:29]
acfs-OST001e_UUID 16.2T 14.1T 1.3T 92% /publicfs[OST:30]
acfs-OST001f_UUID 16.2T 14.0T 1.4T 91% /publicfs[OST:31]
acfs-OST0020_UUID 18.5T 15.9T 1.7T 90% /publicfs[OST:32]
acfs-OST0021_UUID 18.5T 15.9T 1.6T 91% /publicfs[OST:33]
acfs-OST0022_UUID 18.5T 15.9T 1.7T 90% /publicfs[OST:34]
acfs-OST0023_UUID 18.2T 15.6T 1.7T 90% /publicfs[OST:35]
acfs-OST0024_UUID 18.2T 15.7T 1.6T 91% /publicfs[OST:36]
acfs-OST0025_UUID 18.2T 15.7T 1.6T 91% /publicfs[OST:37]
acfs-OST0026_UUID 17.5T 14.9T 1.7T 90% /publicfs[OST:38]
acfs-OST0027_UUID 17.5T 15.0T 1.6T 90% /publicfs[OST:39]
acfs-OST0028_UUID 17.5T 12.7T 4.0T 76% /publicfs[OST:40]
acfs-OST0035_UUID 57.8T 805.3G 54.1T 1% /publicfs[OST:53]
acfs-OST0036_UUID 57.8T 796.7G 54.1T 1% /publicfs[OST:54]
acfs-OST0037_UUID 57.8T 755.3G 54.2T 1% /publicfs[OST:55]
acfs-OST0038_UUID 57.8T 901.6G 54.0T 2% /publicfs[OST:56]
acfs-OST0039_UUID 57.8T 824.2G 54.1T 1% /publicfs[OST:57]
acfs-OST003a_UUID 57.8T 609.5G 54.3T 1% /publicfs[OST:58]
acfs-OST003b_UUID 57.8T 898.8G 54.0T 2% /publicfs[OST:59]
acfs-OST003c_UUID 57.8T 692.2G 54.2T 1% /publicfs[OST:60]
acfs-OST003d_UUID 57.8T 775.4G 54.1T 1% /publicfs[OST:61]
acfs-OST003e_UUID 57.8T 742.5G 54.2T 1% /publicfs[OST:62]
filesystem summary: 870.7T 256.8T 569.9T 31% /publicfs
其中 /publicfs/atlas/codesbackup/user_name 每周备份, 可以长期存放一些用户自产生的源程序等
关于公共区存储使用请查看文件:/publicfs/atlas/README,并联系shanly@ihep.ac.cn
公共存储区域(AFS文件系统)
用于公共软件的安装
/afs/ihep.ac.cn/soft/atlas/
个人存储区域(Lustre文件系统)
/workfs/atlas/afs_user_name
/scratchfs/atlas/afs_user_name
注意:
/workfs : 存放重要个人文件,每个用户拥有10G空间,最多存放50000个文件,计算中心提供数据备份服务。登录结点上可以读写访问,计算结点只能读取,无法写入此目录。
/scratchfs:存放临时文件,每个用户拥有500GB存储空间,保存时间2周。从所有登录结点与计算结点均可随时读写此目录。
个人存储区域(AFS文件系统)
/afs/ihep.ac.cn/users/
单个用户可用500MB空间,
注意:
可以从登录结点上运行如下命令,查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额。
lfs quota -u afs_user_name /workfs
lfs quota -u afs_user_name /scratchfs
lfs quota -u afs_user_name /publicfs
7.5.5 Tier3 ATLAS软件
Tier3 ATLAS的软件存放于目录/cvmfs/atlas.cern.ch/repo/sw/software 。所有的登录/计算结点都可以访问
7.5.6 Tier2 登录(CERN登录结点)
在使用CERN的某些服务(如SVN代码Checkout)时,为避免重复登录认证,可以使用Kerberos Ticket认证,在所有IHEP的登录结点上执行如下操作:
• 初始化ticket:
kinit afs_user@CERN.CH
kinit afs_user@CERN.CH
klist
7.5.7 Tier2 数据下载
RUCIO数据下载,可以下载到Tire2的存储资源上(BEIJING-LCG2_LOCALGROUPDISK),或者直接下载到Tire3上。
source /cvmfs/atlas.cern.ch/repo/sw/ddm/latest/setup.sh
export DQ2_LOCAL_SITE_ID=BEIJING-LCG2_LOCALGROUPDISK