3.3.7 磁带库存储服务

3.3.7.1 磁带库存储概况

高能所计算中心采用LTO磁带作为长期存储的主要介质，采用EOSCTA作为磁带存储软件。EOSCTA由两部分组成，包括前端EOS文件系统和后端CTA磁带库管理软件，实现了分级存储的功能。当前高性能计算平台中计算结点和登录结点均已安装部署了EOSCTA环境。目前提供BES，DYB，JUNO，LHAASO，HEPS 等实验磁带存储服务。

3.3.7.2 磁带库使用权限

1) 申请使用权限

拥有了计算平台账号的用户如果希望使用磁带存储，首先要向相关实验应用负责人提出申请，由负责人联系计算中心为用户开放使用权限。届时用户将收到电子邮件通知。

2) 客户端安装

如果需要从本地机器上访问磁带库数据，可安装相关的磁带库客户端RPM包，包括eos-client和xrdfs client。

yum install eos-client xrdfs-client

3)使用环境配置

编辑.bashrc， 添加环境变量 export XrdSecPROTOCL=unix export EOS_MGM_URL=root://xxx.ihep.ac.cn （填入对应实验的EOSCTA的MGM域名）

3.3.7.3 磁带库常用命令

下文简要介绍了一些EOSCTA常用命令。由于EOSCTA使用的是EOS文件系统，命令格式类似，可参考上文EOS文件存储介绍。（http://afsapply.ihep.ac.cn/cchelp/zh/local-cluster/storage/EOS/）

1) 查看EOSCTA目录

命令格式：

$ eos root://xxx.ihep.ac.cn ls

或者

$ xrdfs root://xxx.ihep.ac.cn ls

向EOSCTA读写文件之前，用户要先检查是否的EOSCTA目录。

  1. 普通用户查看
    $ eos ls /eos/组名/用户名
  2. BES 实验组用户查看
    $ eos root://bescta01.ihep.ac.cn ls -l /eos/bes3/run
  3. BES 在线用户查看
    $ eos root://bescta01.ihep.ac.cn ls -l /eos/bes3/offline
  4. JUNO 用户查看
    $ eos root://junocta01.ihep.ac.cn ls -l /eos/juno
  5. LHAASO 用户查看
    $ eos root://laso01.ihep.ac.cn ls -l /eos/laso
  6. HXMT 用户查看
    $ eos root://laso01.ihep.ac.cn ls -l /eos/hxmt
  7. HEPS 用户查看
    $ eos root://xxx.ihep.ac.cn ls -l /eos/heps
  8. DYB 用户查看
    $ eos root://bescta01.ihep.ac.cn ls -l /eos/dyb
  9. YBJ 用户查看
    $ eos root://laso01.ihep.ac.cn ls -l /eos/ybj
    如果没有用户可以操作的磁带库目录，请与计算中心联系。

2) CASTOR 文件拷贝命令

CASTOR文件拷贝命令rfcpx把文件从本地文件系统拷贝到CASTOR空间或者从CASTOR空间中拷贝到本地，支持一个或批量文件拷贝功能。命令格式：

$ rfcpx [-M [-NUM] [-v] [-V] [-h] [-T] [-U] [-nocopy] [-L filelist ] file1 [files2 file3 ...] [target]

运行不加参数的rfcpx命令,可查看到每个参数的使用说明。 示例如下：

  1. 从castor中拷贝以h012开头的tar文件到本地tmp目录下
    $ rfcpx /castor/ihep.ac.cn/data/ntpl/h/tar/h012*.tar /tmp
  2. 拷贝本地/etc/hosts文件到castor目录
    $ rfcpx /etc/hosts /castor/ihep.ac.cn/user/t/test/notape

3) CASTOR 文件查看命令

文件被写入 CASTOR 后，可用 nsls 命令查看文件状态，命令格式：

$ nsls –l filename

示例如下：

$ nsls -l /castor/ihep.ac.cn/user/t/test
mrw-r--r-- 1 test c3 39605868 Mar 06 14:48 mycastorfile1
-rw-r--r-- 1 test c3 46206846 Mar 06 14:52 mycastorfile2

第一列是文件的权限说明，mycastorfile1 的模式位 “m” 字符表示该文件已经从磁盘缓冲池迁移到磁带。文件mycastorfile2 还没有迁移。

4) 查看文件在磁盘状态

stageqryx 用于查看存放于磁盘池的文件状态情况，命令格式：

$ stageqryx –M castorefile

示例如下：

$ stageqryx -M /castor/ihep.ac.cn/user/t/test/mycastorfile2
Found in [stager:userPool]
File name                            State      Nbacc.     Size    Pool
mycastorfile2                       STAGED          1    0.0/0    userPool

5) 重命名文件或目录命令

用 rfrename 命令执行的是相当于 linux 操作系统 mv 命令的部分内容，即并没有进行物理上的数据移动。如果文件被重命名，它的文件类不变。命令格式：

$ rfrename  <old_path> <new_path>

示例如下：

$ rfrename /castor/ihep.ac.cn/user/t/test/mycastorfile1 /castor/ ihep.ac.cn/user/t/test/myfile1

CASTOR 的文件重命名没有任何的限制，文件并不需要迁移到磁带。

6) 创建新目录命令

nsmkdir 类似于 linux 操作系统命令的 mkdir。命令格式：

$ nsmkdir castor_dir

示例如下：

$ nsmkdir /castor/ihep.ac.cn/user/t/test/test-directory

新的用户目录由管理员或用户创建。

7) 删除文件或目录命令

rfrm 命令用于删 castor 文件或目录，其也支持目录的递归删除（－r选项）。命令格式 ：

$ rfrm [-r] castor_dir/castore_filename

示例如下：

$ rfrm /castor/ihep.ac.cn/user/t/test/myfile1

因为删除的文件无法恢复，请谨慎使用删除命令！

8) 修改文件权限命令

rfchmod 命令用于修改文件权限。castor 的文件权限表示与 linux 类似。 命令格式：

$ rfchmod acl_right castor_filename

示例如下：

$ rfchmod 750 /castor/ihep.ac.cn/user/t/test/mycastorfile

注意文件权限以八进制表示。

9) 修改目录属主命令

组管理员，即那些在 CASTOR 用户特权认证（Cupv）注册过的用户，可使用 nschown 命令修改自己组中的任何目录的属主。命令格式：

$ nschown uid:username castor_path

示例如下：

$ nschown userid:gg path

3.3.7.4 磁带库使用注意事项

1) 只能保存大文件 (>100MB)

小文件会导致磁带空间的浪费。如果有小文件需要保存，建议先打包成为一个大文件后，再写入磁带。打包命令举例：

$ tar  -cvf  txt.tar  *.txt       #将目录中的所有txt文件打包成txt.tar
$ tar  -cvf  home.tar  /myhome   #将myhome目录打包成home.tar
$ tar  -czvf  data.tar.gz  /data01   #将/data01目录压缩并打包成data.tar

2) EOSCTA不是文件备份系统

EOSCTA是磁带库存储和管理系统，不具有自动备份文件的能力，某个文件的重复删除和写入会导致空间的浪费。

3.3.7.5 CASTOR迁移的目录

由于之前使用过CASTOR作为磁带库管理软件，已将CASTOR存储的数据都迁移到EOSCTA，下表为对应目录，方便用户查找。 | CASTOR目录 | EOSCTA目录 | | ------ | ------ | | /castor/ihep.ac.cn/bes/bes2 | /eos/bes3/castor/bes2 | | /castor/ihep.ac.cn/bes/epcback | /eos/bes3/castor/epcback | | /castor/ihep.ac.cn/bes/offline | /eos/bes3/offline | | /castor/ihep.ac.cn/bes/run | /eos/bes3/run | | /castor/ihep.ac.cn/dyb/dybfs | /eos/dyb/dybfs |

results matching ""

    No results matching ""