背景 :
通用并行文件系统 (General Parallel File System – GPFS) for AIX 是一种高性能共享磁盘文件系统 . 它可以在一个 AIX 集群环境中为各节点提供数据存取 . 并行和串行应用程序可以容易地通过标准 UNIX 文件系统界面访问共享的文件 , 并且同一个文件可以被多个节点并发地访问 . GPFS 的设计通过登录机制和复制机制 , 提供了高可用性特性 , 可以配置为在磁盘及服务器发生故障时实现接管 . GPFS 现在已经被 IBM RS/6000 SP 集群系统广泛兼容 , 扩展文件系统 I/O, 帮助满足广泛的应用需求 , 如地震数据处理 , 数字图书馆文件服务器 , 商务智能中的数据挖掘 , 等 . GPFS for AIX 支持 IBM eServer Cluster 1600 , 以及用相应技术将 IBM eServer p 系列节点组成的集群环境 .
GPFS 集群的类型有哪些 , 它们各由什么样的环境支持 ?
网络连接 , 磁盘连接 , 操作系统和服务器平台与 GPFS 集群类型的关系如下 :
GPFS 集群类型
网络连接类型
磁盘连接
操作系统和服务器硬件
存储区域网 (SAN)- 连接于集群的所有节点
网络共享磁盘 (NSD) 服务器
lc(GPFS 2.2)
具有以下带宽的网络 :
- 最少 100 Mb/ 秒
- 建议 1 Gb/ 秒 或更高带宽
结合 SAN- 连接和一个 NSD 服务器的环境
一个由 AIX 5L (pSeries) 和 Linux ( 仅在 xSeries 上 ) 组成的具有协同操作功能的集群
存储区域网 (SAN)- 连接于集群的所有节点
网络共享磁盘 (NSD) 服务器
lc(GPFS 2.2)
具有以下带宽的网络 :
- 最少 100 Mb/ 秒
- 建议 1 Gb/ 秒 或更高带宽
结合 SAN- 连接和一个 NSD 服务器的环境
一个由 AIX 5L (pSeries) 和 Linux ( 仅在 xSeries 上 ) 组成的具有协同操作功能的集群
存储区域网 (SAN)- 连接于集群的所有节点
网络共享磁盘 (NSD) 服务器
lc(GPFS 2.2)
具有以下带宽的网络 :
- 最少 100 Mb/ 秒
- 建议 1 Gb/ 秒 或更高带宽
结合 SAN- 连接和一个 NSD 服务器的环境
一个由 AIX 5L (pSeries) 和 Linux ( 仅在 xSeries 上 ) 组成的具有协同操作功能的集群
Myrinet
网络共享磁盘 (NSD) 服务器
lc (GPFS 1.3)
GigE
存储区域网 (SAN)- 连接于集群的所有节点
Linux ( 仅在 xSeries 上 )
sp
SP Switch 交换机或 SP Switch2 交换机
VSD(virtual shared disk) 服务器
AIX (pSeries)
具有以下带宽的网络 :
- 最少 100 Mb/ 秒
- 建议 1 Gb/ 秒 或更高带宽
存储区域网 (SAN)- 连接于集群的所有节点
rpd
高性能交换机 (High Performance Switch - HPS)
VSD(virtual shared disk) 服务器
AIX (pSeries)
hacmp
具有以下带宽的网络 :
- 最少 100 Mb/ 秒
- 建议 1 Gb/ 秒 或更高带宽
存储区域网 (SAN)- 连接于集群的所有节点
AIX (pSeries)
GPFS 经过测试的最大的集群大小是多少 ?
下表列举了经过测试的最大 GPFS 集群大小 . 超过最大限制的集群实施需要通过你的 IBM 业务代表提请 special bid 业务流程 .
GPFS 集群类型
GPFS 版本
操作系统
最大集群大小
GPFS v2.2
Linux only
512 节点
GPFS v2.2
AIX only
128 节点
lc
GPFS v2.2
Linux ( 仅 xSeries) 和 AIX
512 节点 , 其中最多 128 个 AIX 节点
rpd
GPFS v2.2 和 v2.1
AIX
128 节点
hacmp
GPFS v2.2 和 v2.1
AIX
128 节点
sp
GPFS v2.2 和 v2.1
AIX
128 节点
什么是 lc 类型的集群 ?
lc 集群是最灵活的 GPFS 集群 , 支持的环境存在最少限制 . 它同时支持 AIX 和 Linux 操作系统下的 GPFS, 并且可以将所有早期版本的 GPFS 集群集成起来 . 所有新的 GPFS 集群的实施应首先考虑采用 lc 类型的集群 . 所有已有的 GPFS 集群也应在软硬件环境允许的情况下考虑转移到 lc 集群上来 .
lc 集群支持的节点如下 ( 可同时包含 AIX 和 Linux 的节点 ):
AIX 5.2 节点
Linux 节点
安装了 GPFS2.2 的单独的 p 系列节点或 RSCT 中的节点 , 未从属于已有的 GPFS 集群
将 GPFS2.2 sp 集群节点迁移到新的 lc 集群
将 GPFS2.2 rpd 集群节点迁移到新的 lc 集群
x 系列节点 -- 安装最新的 Linux 发布版本及内核版本 , 安装 GPFS2.2
运行 GPFS 早于 2.2 版本 , 或者运行 GPFS2.2 但使用了旧的 lc 集群类型 , 必须迁移到 GPFS 2.2 并使用新 lc 类型 .
lc 集群支持何种磁盘子系统 ?
GPFS 的网络共享磁盘 (The Network Shared Disk – NSD) 部件 , 是用于在 lc 集群中实现全局设备命名和远程数据访问的 . NSD 是使用命令 mmcrnsd 建立于逻辑磁盘设备的上端 . 在 GPFS2.2 版本中 , 一个逻辑磁盘设备可能是一个物理盘 (AIX 中的 搣 hdisk 攠 或 搣 vpath 攠 , 或 Linux 中的块磁盘设备或磁盘分区 ), 或一个 VSD( 无论是一个 PSSP 的 VSD 或一个 RSCT 对等域 VSD). 此外 , 位于逻辑卷之上的 NSD 允许被加入从 rpd 类型迁移而来的集群 (lc 集群不允许使用新建 NSD 中的逻辑卷 ). 如果本地磁盘设备能够被多个节点看到 , GPFS 2.2 将从这些节点直接访问 , 并从集群的其它部分使用 NSD 远程访问路径 ( 将 I/O 请求路由到网络 ). 如果磁盘设备只能被某一个节点看到 , 其它节点将通过远程数据访问路径访问 ; 如果这个磁盘设备能被所有节点看到 , 则所有节点将直接访问它 . 注意 : 在后一种情况 , 不需要为这个 NSD 严格分配主 / 从服务器 , 只是强烈建议为每个 NSD 指定一个服务器节点 , 以便预防当一个存储子系统路径失效时引起相关节点的数据访问失败 . 当本地访问路径失效时 , 则将转由 NSD 经远程数据访问路径实现数据访问 , 以此保持数据访问路径的可用性 .
什么是 sp 类型的集群 ?
sp 型 GPFS 集群 , 基于 IBM PSSP (Parallel System Support Programs) 软件及 PSSP 的 VSD (Virtual Shared Disk) 共享磁盘的概念 . 在 GPFS 集群类型 SP 中 ( 在 PSSP 环境中 ), GPFS 集群的成员节点依赖于所使用的网络交换机的类型 . 在使用 SP 交换机的系统中 , GPFS 集群等同于在 sp 相应分区中所有安装 GPFS 的节点 . 在安装 SP Switch2 交换机的系统中 , GPFS 集群等同于此系统中所有安装 GPFS 的节点 . 换句话说 , 集群的定义是默认的 , 而不需要专门运行 GPFS 集群命令 . 在 GPFS 集群中 , 你可以在你的文件系统操作中定义一个或多个 nodesets. GPFS SP 类型集群对磁盘的需要是 --- 所有磁盘必须是 :
1) 附属于一个位于此 nodeset 中的 VSD 服务器 .
2) 建立 GPFS 使用的 VSD 磁盘时 , 必须使用 mmcrvsd 命令 , 或者遵循 Parallel System Support Programs for AIX: Managing Shared Disks 文档 .
3) 遵循本文中对于磁盘支持的准则 .
当 GPFS 运行于一个 SP 类型的集群环境中时 , 软件需求是什么 ?
在一个 SP 类型的集群中 , GPFS 需要 PSSP 软件和其中的 IBM VSD 及 IBM RVSD(Recoverable Virtual Shared disk) 部件来统一磁盘存取及恢复 .
表 : 支持 sp 类型集群的软件版本需求 :
GPFS 版本
AIX 版本
PSSP 版本
GPFS 服务终止日期
GPFS v2.2
AIX 5L ™ v5.2
PSSP v3.5
GPFS v2.1
AIX 5L v5.1 或 AIX 5L v5.2
PSSP v3.5
30-Apr-06
当在 SP 集群环境中运行 GPFS 时 , 磁盘规划必须遵循的原则是什么 ?
在一个 SP 类型的集群中 , 一个标准的 GPFS 集群配置使用 RVSD. 违反此原则的一个例子是 GPFS 集群使用了 CVSD(concurrent virtual shared disks). 使用 CVSD 可能在所支持的磁盘类型中引起冲突 . 这一点在集群属性小节的第 4 页表 2, 第 4 页表 3, 第 5 页表 4, 和第 5 页表 5 中指出 . 但对于 2 节点的 SP 集群运行单一节点 quorum 的情况则没有特殊的磁盘限制 ( 参见问题 : 搣 2 节点的节点组 (nodesets) 注意事项 ? 攠 ). 对于更多的磁盘配置信息和举例 , 请参见 ftp.software.ibm.com/storage/fastt/fastt500/PSSP-GPFS_config_info.pdf .
