- 創建文件系統，設置參數
- 根據經驗優化具體的參數設置
- 測試(是否正常訪問，是否高可用，讀寫等)
- 完畢，書寫文檔，總結經驗
群集的搭建流程大致是上面10個步驟，但是因具體環境或多或少的有所變化，在此附上一篇在IBM AIX上構建一個雙節點IBM GPFS 集群小文，敬請參考：https://www.ibm.com/developerworks/cn/aix/library/au-aix-building-two-node-gpfs-cluster/
五、參數設置和優化
所謂參數優化設置都是要結合具體環境而定，那麼在此我們不做太具體的參數設置，而是根據以往經驗和最佳參考實踐進行梳理和總結，由於筆者經驗問題，很難做到面面俱到。
下面我們將分幾個方面針對GPFS的群集搭建過程當中常見的場景進行介紹和梳理
優化分類
- 操作系統
下面主要結合Linux 操作系統應用場景進行設置。
Linux: sysctl net.core.somaxconn=Linux: sysctl net.core.netdev_max_backlog=250000Linux: sysctl net.ipv.neigh..mcast_solicit=9 and/or net.ipv.neigh..ucast_solicit=9Linux: sysctl vm.min_free_kbytes=an order of magnitude of 5-6% of the total amount of physical memoryLinux: modprobe.conf ib_ipoib send_queue_size=8192 recv_queue_size=8192 (specific to IB)Linux: IPoIB should use datagram mode instead of connectedLinux: net.ipv4.tcp_sack = 1Enable Flow Control– In large GPFS clusters we have found that enabling flow control can improve performance. Typically flow control is enabled on the host and on the network switches. Indications of network flow control issues in GPFS include seeing log getData waiters or long NSD I/O waiters.
推薦：
網絡：使用10GB 以太網和infiniband 網組網，支撐高網絡io需求
存儲：使用多個同級別存儲，分散IO，並發讀寫能力高，存儲端可以配置ssd進行性能熱點
2． GPFS群集參數
GPFS: socketMaxListenConnections=maximum number of nodes in a clusterGPFS: idleSocketTimeout=0GPFS: failureDetectionTime=60GPFS: minMissedPingTimeout=60GPFS: tscWorkerPool=128GPFS: maxReceiverThreads=number of logical CPUs on the nodeGPFS: tokenMemLimit=1GGPFS: work1Threads=100GPFS: worker3Threads=40GFFS: maxMBpS=2400GPFS: maxStatCache=60000GPFS: pagepool=4-8GBGPFS: maxFilesToCache=1000
推薦：
設置管理網絡和數據網絡獨立，相互不影響。
設置failgroup，保證數據的高可用
3 . 高可性設計
GPFS 可用性機制
GPFS 的數據完整性一方面是由以上提到的數據安全機制來保證，另外也通過一套可用性判斷機制來完全保證數據完整性與系統安全。 GPFS 提供三套不同的 quorum 機制來判斷系統當前的狀態，其中 File Descriptor Quorum 是系統內置的，不能做配置，另外兩種 node quorum 和 tiebreaker quorum 方式只能二者選其一，使用那種方式要基於我們的系統環境與可靠性分析。
- File system Descriptor Quorum，File system Descriptor 顧名思義即描述文件系統信息的數據。我們在幾個不同的failure-group的磁盤上創建 GPFS 文件系統時，會把文件系統的配置信息（簡寫為 FD）的拷貝寫到多個磁盤上，以實現冗餘備份。FD quorum 的機制即通過判斷含有 FD 磁盤的在線情況來判斷當前系統是否正常，當超過半數的含有 FD 的磁盤掉線時，就判斷為系統故障，將會自動關閉文件系統。
- Node Quorum是通過主機狀態的來判斷系統可用性的機制。GPFS 文件系統集群中，可以設置多個主機節點為 Quorum node。Node Quorum 的機制是通過判斷 Quorum node 的狀態來判斷系統是否正常，當超過半數的 Quorum node 在線時，判斷系統為正常，反之，將關閉文件系統。
- Tiebreaker quorum是通過磁盤的狀態來判斷系統的可用性。我們可以設置系統通過監視指定的一些磁盤作為 Tiebreaker Disk。當超過半數的 Tiebreaker Disk 掉線時，則判斷系統故障，將自動關閉文件系統。Tiebreaker 最多只能配置兩個用來監控磁盤狀態的 quorum 主機，當 2 台 quorum 主機都宕機的話，GPFS 系統也將會關閉。其優勢在於節點數較少時可用性較高，但節點數較多的情況建議採用 Node quorum 模式。
根據以上三種判斷機制，GPFS 自動判斷系統的狀態，當異常發生時自動關閉系統以保護系統和數據的完整性。
以下文章點擊率最高
Loading…