3.3 文件存储服务
计算中心为各个实验组和个人用户提供了多种级别的文件存储服务,主要包括AFS文件存储、NFS文件存储、EOS文件存储、LUSTRE文件存储和磁带库存储。
AFS是一个分布式文件系统,由数据服务器和文件服务器组成,为客户提供统一的存储空间。AFS基于Kerberos认证,具有很强的安全性。高能所计算中心部署的OpenAFS系统,主要用于用户身份认证和个人文件安全存储,包括源代码、程序、文档等,并定期备份,确保数据安全。AFS还为各个实验提供公共软件库的存储,通过只读发布,保证所有结点上软件版本的一致性。AFS的优点是数据安全性高,私密性强,适合存放个人数据,但是存储空间小,访问速度慢, [warning]而且由于AFS的安全机制的制约,如果在AFS目录下向PBS等作业管理系统提交作业,将无法在AFS目录下得到作业结果。
NFS是一种简单的网络文件系统,客户端通过挂载方式访问服务器上数据,存储空间受到单台服务器的限制。计算中心部署了多套NFS系统,为用户和实验组提供存储空间,用于保存软件、脚本和一些实验数据,用户可以在NFS目录下提交作业。NFS主要可作为用户HOME目录,支持作业提交,但是它可扩展性差、访问速度慢、维护复杂,将在以后被逐步淘汰。
LUSTRE是一个开源、可扩展的并行文件系统,被广泛应用于超级计算平台。在全球TOP500超级计算机中有超过70%使用了LUSTRE文件系统。LUSTRE由元数据服务器(MDS)、对象存储服务器(OSS)以及客户端组成。通过元数据服务器,LUSTRE将所有对象存储服务器上存储目标设备(Storage Target)组成统一的存储空间,提供给客户端挂载,完全兼容POSIX语义。LUSTRE具有很强的可扩展性,能够轻松管理PB-EB级别的存储空间,提供每秒几十甚至上百GB字节的聚合带宽,在高性能计算领域应用广泛。受LUSTRE自身设计的限制,该文件系统针对“海量小文件”使用场景的性能较差。因此LUSTRE被主要用于管理海量的实验数据存储。LUSTRE是目前计算中心最主要的磁盘文件系统。
磁带库由磁带驱动器、磁带槽位以及机械手臂组成,并可由机械手臂自动实现磁带的拆卸和装填。与磁盘不同,磁带属于顺序访问设备,必须将磁带从槽位装填到磁带驱动器后,才能从磁带头开始定位和读写。计算中心部署了分级存储管理软件CASTOR,将磁带库中的磁带虚拟成可随机访问的透明空间,类似于FTP服务,通过命令行或者API实现数据的导入(上传)或者拷出(下载),完全不用考虑磁带的顺序访问特性以及复杂的装填和拆卸过程。一般来说,磁带的存储空间较大,一盘LTO4磁带非压缩存储量为800GB(压缩存储1.6TB),LTO7磁带非压缩存储量为9TB(压缩存储22.5TB),这样一台5000个槽位的磁带库容量可达到4PB到10PB以上。磁带放在磁带槽位中不需要带电。磁带具有容量大、价格便宜、保存时间长、绿色节能等优势,在高能物理领域被广泛采用,但是磁带库是机械设备,访问速度慢,故障率高,因此目前主要用于备份和原始数据长期保存。