7.6 CMS计算

7.6.1 本地计算资源和使用

CMS本地计算资源一共有446CPU核,由HTCondor统一管理,通过登录lxlogin来使用。

HTCondor作业提交命令如下:

 condor_submit submit  -group cms

7.6.2 本地存储资源和使用

本地的存储分为几个区域:

(1) 公共数据区域

/publicfs/cms

(2) 公共软件区域

/afs/ihep.ac.cn/soft/CMS/  
/cvmfs/cms.cern.ch/(由CERN维护)

(3) 个人数据存储区域

/workfs, /scratchfs, /afs/ihep.ac.cn/users/

注意事项:

(1) /workfs : 存放重要个人文件,每个用户拥有5G空间,最多存放50000个文件,计算中心提供数据备份服务。lxlogin上可以读写访问,队列作业运行时只能读取,无法写入此目录。

(2)/scratchfs:存放临时文件,每个用户拥有500GB存储空间,保存时间2周。lxlogin和作业均可随时读写此目录

(3) /afs/ihep.ac.cn/users :存放用户个人文件,每个用户拥有500MB空间,计算中心提供数据备份服务。

7.6.3 网格计算资源

由CreamCE系统管理,共有544个核。

7.6.4 网格存储资源

CMS网格存储系统通过dCache管理,现有540TB空间。

7.6.5 网格作业提交

(1) 首先登陆lxlogin

ssh  lxlogin.ihep.ac.cn

(2) 网格证书初始化

voms-proxy-init --voms cms

(3) CMSSW环境初始化

export VO_CMS_SW_DIR=/cvmfs/cms.cern.ch/
source $VO_CMS_SW_DIR/cmsset_default.sh
#查看已安装的CMSSW版本号
scramv1 list -c CMSSW
#如果是第一次使用,需要创建本地CMSSW目录
scramv1 project CMSSW CMSSW_X_Y_Z
#初始化runtime环境 
cd CMSSW_X_Y_Z/src/
eval `scramv1 runtime –sh

(4) CRAB环境初始化

`source source /cvmfs/cms.cern.ch/crab/crab.(c)sh`

(5) 使用crab 命令创建和提交作业

`crab submit [-c <CRAB-configuration-file>`

(6) 使用crab命令查看作业状态

查看作业是否已经完成

`crab status [-d] <CRAB-project-directory>`

当作业已经完成,取回作业log和结果

`crab getlog [-d] <CRAB-project-directory> `

(7) 更多的细节请参见:

https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial

7.6.6 使用PhEDEx传输

PhEDEx是CMS数据集传输系统,CMS用户可以通过PhEDEx页面进行数据集传输申请、删除申请以及传输监控。

注意事项:

(1)所有传输申请只能基于数据集,而不能用于单个文件的传输。

(2)在进行申请操作之前,用户需要将自己的个人网格证书装载到浏览器。具体操作时PhEDEx将使用浏览器中的网格证书对用户进行身份识别。只有加入CMS VO的用户证书才能有权限进行相关操作。

传输步骤说明:

(1) 传输申请

打开PhEDEx传输申请页面,并填写相应信息

https://cmsweb.cern.ch/phedex/prod/Request::Create?type=xfer

Data Item:所需要传输的数据集

Destination:所需要传输到的目的地(T2_CN_Beijing)

点击底部按钮提交

(2) 查看传输状态

https://cmsweb.cern.ch/phedex/prod/Data::Subscriptions#state=create_since%3D1367031333

(3) 删除申请(包括删除DBS元数据和SE的物理数据)

打开PhEDEx删除申请页面,并填写相应信息

https://cmsweb.cern.ch/phedex/prod/Request::Create?type=delete

Data Item: 所要删除的数据集

Destination:所要删除的数据集所在的站点

​ 点击底部按钮提交

7.6.7 读写网格SE数据

(1)网格存储服务器SE

SRM服务器:srm.ihep.ac.cn

根目录:/pnfs/ihep.ac.cn/data/cms/

(2)通过SRM协议读写SE数据

创建目录:

srmmkdir   srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/zhangxm/test1

查看SE文件:

srmls srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms/zhangxm/test1

删除目录:

srmrmdir   srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms/zhangxm/test1

删除SE文件:

srmrm   srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms/largefile2

拷贝文件:

srmcp -debug=true   file:////home/zhangxm/test/srmv2test/test1   srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms/zhangxm/test1 
srmcp -debug=true         srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms/zhangxm/test1   file:////home/zhangxm/test/srmv2test/test2

results matching ""

    No results matching ""