读懂GPFS:从基础知识到集群搭建、参数设置优化及故障诊断(三)

  1. 创建文件系统,设置参数
  2. 根据经验优化具体的参数设置
  3. 测试(是否正常访问,是否高可用,读写等)
  4. 完毕,书写文档,总结经验

群集的搭建流程大致是上面10个步骤,但是因具体环境或多或少的有所变化,在此附上一篇在IBM AIX上构建一个双节点IBM GPFS 集群小文,敬请参考:https://www.ibm.com/developerworks/cn/aix/library/au-aix-building-two-node-gpfs-cluster/

五、参数设置和优化

所谓参数优化设置都是要结合具体环境而定,那么在此我们不做太具体的参数设置,而是根据以往经验和最佳参考实践进行梳理和总结,由于笔者经验问题,很难做到面面俱到。

下面我们将分几个方面针对GPFS的群集搭建过程当中常见的场景进行介绍和梳理

优化分类

  1. 操作系统

下面主要结合Linux 操作系统应用场景进行设置。

Linux: sysctl net.core.somaxconn=Linux: sysctl net.core.netdev_max_backlog=250000Linux: sysctl net.ipv.neigh..mcast_solicit=9 and/or net.ipv.neigh..ucast_solicit=9Linux: sysctl vm.min_free_kbytes=an order of magnitude of 5-6% of the total amount of physical memoryLinux: modprobe.conf ib_ipoib send_queue_size=8192 recv_queue_size=8192 (specific to IB)Linux: IPoIB should use datagram mode instead of connectedLinux: net.ipv4.tcp_sack = 1Enable Flow Control– In large GPFS clusters we have found that enabling flow control can improve performance. Typically flow control is enabled on the host and on the network switches. Indications of network flow control issues in GPFS include seeing log getData waiters or long NSD I/O waiters.

推荐:

网络:使用10GB 以太网和infiniband 网组网,支撑高网络io需求

存储:使用多个同级别存储,分散IO,并发读写能力高,存储端可以配置ssd进行性能热点

2. GPFS群集参数

GPFS: socketMaxListenConnections=maximum number of nodes in a clusterGPFS: idleSocketTimeout=0GPFS: failureDetectionTime=60GPFS: minMissedPingTimeout=60GPFS: tscWorkerPool=128GPFS: maxReceiverThreads=number of logical CPUs on the nodeGPFS: tokenMemLimit=1GGPFS: work1Threads=100GPFS: worker3Threads=40GFFS: maxMBpS=2400GPFS: maxStatCache=60000GPFS: pagepool=4-8GBGPFS: maxFilesToCache=1000

推荐:

设置管理网络和数据网络独立,相互不影响。

设置failgroup,保证数据的高可用

3 . 高可性设计

GPFS 可用性机制

GPFS 的数据完整性一方面是由以上提到的数据安全机制来保证,另外也通过一套可用性判断机制来完全保证数据完整性与系统安全。 GPFS 提供三套不同的 quorum 机制来判断系统当前的状态,其中 File Descriptor Quorum 是系统内置的,不能做配置,另外两种 node quorum 和 tiebreaker quorum 方式只能二者选其一,使用那种方式要基于我们的系统环境与可靠性分析。

  • File system Descriptor Quorum,File system Descriptor 顾名思义即描述文件系统信息的数据。我们在几个不同的failure-group的磁盘上创建 GPFS 文件系统时,会把文件系统的配置信息(简写为 FD)的拷贝写到多个磁盘上,以实现冗余备份。FD quorum 的机制即通过判断含有 FD 磁盘的在线情况来判断当前系统是否正常,当超过半数的含有 FD 的磁盘掉线时,就判断为系统故障,将会自动关闭文件系统。
  • Node Quorum是通过主机状态的来判断系统可用性的机制。GPFS 文件系统集群中,可以设置多个主机节点为 Quorum node。Node Quorum 的机制是通过判断 Quorum node 的状态来判断系统是否正常,当超过半数的 Quorum node 在线时,判断系统为正常,反之,将关闭文件系统。
  • Tiebreaker quorum是通过磁盘的状态来判断系统的可用性。我们可以设置系统通过监视指定的一些磁盘作为 Tiebreaker Disk。当超过半数的 Tiebreaker Disk 掉线时,则判断系统故障,将自动关闭文件系统。Tiebreaker 最多只能配置两个用来监控磁盘状态的 quorum 主机,当 2 台 quorum 主机都宕机的话,GPFS 系统也将会关闭。其优势在于节点数较少时可用性较高,但节点数较多的情况建议采用 Node quorum 模式。

根据以上三种判断机制,GPFS 自动判断系统的状态,当异常发生时自动关闭系统以保护系统和数据的完整性。

以下文章点击率最高

Loading…

发表评论