DB2 pureScale 软件安装配置及常见问题解决1

DB2 pureScale 软件安装配置及常见问题解决

硬件环境要求

DB2 pureScale 采用了和业界联机事务处理”黄金”标准的 DB2/zOS 相同的共享存储体系架构、集中式缓存和锁管理,硬件配置上要求能够通过 SAN 网络访问数据库共享磁盘,需要高性能、低延迟的 InfiniBand 交换机和板卡。

DB2 pureScale 目前支持的服务器包括 IBM Power 6-550 和 595,IBM Power7 全系列服务器。由于 IBM Power6-570 服务器没有 GX+ 插槽,无法安装 Infiniband 网卡,因此不被 DB2 pureScale 支持,DB2 pureScale 后续版本将提供对 IBM PC 服务器的支持。

DB2 pureScale 支持的存储为所有 GPFS 文件系统支持的存储,具体参见:
http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/index.jsp?topic=/com.ibm.cluster.gpfs.doc/gpfs_faqs/gpfsclustersfaq.html

DB2 pureScale 强烈推荐使用支持 SCSI-3 协议的存储,尽管 DB2 pureScale 也可以支持非 SCSI-3 协议的存储,但是发生故障时,IO 屏蔽的时间将大为延长,这将严重影响宕机时数据库受影响数据的恢复时间。

我们在安装 DB2 pureScale 前,需要仔细检查硬件环境是否满足要求,否则后续的安装配置工作将无法顺利开展,在使用过程中也可能出现不确定的问题。

实验环境配置及规划

我们实验环境硬件环境的硬件配置和规划如下:

服务器配置


表 1. DB2 pureScale 实验环境服务器配置

服务器(主机名)

详细配置

IP地址

InfiniBand网络名

InfiniBand IP地址

p5501

6CPU 48G 内存 1 块 8GB HBA 1 块 IB 卡

172.16.24.121

p5501ib

10.10.10.1

p5502

6CPU 48G 内存 1 块 8GB HBA 1 块 IB 卡

172.16.24.122

p5502ib

10.10.10.2

p5503

6CPU 48G 内存 1 块 8GB HBA 1 块 IB 卡

172.16.24.123

p5503ib

10.10.10.3

 

存储配置

IBM DS4800 48 块 146GB 光纤磁盘,划分成 6 个 RAID10 (4+4),具体 LUN 使用情况:

#mpio_get_config -A

Storage Subsystem worldwide name: 60ab8001132000004babff15

Storage Subsystem Name = ‘DS4800-01-PureScal_ZSJ_D011231’

hdisk LUN # Ownership User Label

hdisk6 0 B (preferred) datagpfs1

hdisk7 1 B (non-preferred) votgpfs1

hdisk8 2 B (non-preferred) B1

hdisk9 3 B (preferred) B2

hdisk10 4 B (non-preferred) B3

hdisk11 5 B (preferred) B4

hdisk12 6 B (non-preferred) B5

hdisk13 7 B (preferred) B6

 

为简洁起见,我们这里仅列示了服务器 p5501 磁盘情况,实际上每台服务器均可看到相同的命令输出。


表 2. DB2 pureScale 实验环境物理卷规划

物理卷

User Label

用途

文件系统挂载点

hdisk6

datagpfs1

pureScale 实例共享 GPFS 文件系统

/db2sd_20100521145928

hdisk7

votegpfs1

GPFS 仲裁盘

 

hdisk8

B1

数据库数据 GPFS 文件系统

/db2data

hdisk9

B2

数据库数据 GPFS 文件系统

/db2data

hdisk10

B3

数据库数据 GPFS 文件系统

/db2data

hdisk11

B4

数据库数据 GPFS 文件系统

/db2data

hdisk12

B5

数据库数据 GPFS 文件系统

/db2data

hdisk13

B6

数据库日志 GPFS 文件系统

/db2log

 

InfiniBand 交换机配置

1 台 Qlogic 9024CU

InfiniBand 卡配置

如果在 1 台物理服务器划分多个 LPAR,分别运行 DB2 pureScale 成员服务器或 CF,有时候需要在 LPAR 间共享使用 Infiniband 卡,这时我们需要通过 HMC 对 LPAR 的 HCA 资源进行配置:


图 1. HCA 卡在 HMC 中的配置

建议 GUID 号和分区号保持一致,同时对 HCA 使用容量进行正确的设置。HCA 卡容量使用方式分为:

    Dedicated( 专用 ) :分配 100% 的资源

    High(高):分配 25% 的资源

    Medium (中):分配 12.5% 的资源

    Low (低):分配 6.25% 的资源

对于 p6-550 或 p750 服务器,如果 1 个成员服务器和 1 个 CF 服务器在 1 台物理服务器上,建议分配给 CF 服务器 75% 的 HCA 资源;对于 p6-595 或 p770, p780 服务器,建议成员服务器和 CF 服务器均使用专用的 HCA 资源。

pureScale 软件安装配置

硬件安装配置完毕后,我们就可以开始安装 DB2 pureScale 了,不过,我们还是有些安装前的配置工作需要完成:

安装操作系统和补丁

DB2 pureScale 建议安装 AIX 6.1.3 SP3,C++ runtime 最低级别要求 xlC.rte 9.0.0.8 ,IOCP 软件包级别要求 6.1.3.1 ,系统微码级别要求为 3.5 或以上。

配置 SSH 信任关系

在 3 个节点 p5501, p5502, p5503 上 root 用户登录,执行命令:

#ssh-keygen -t dsa


 

 

直接回车接受默认值,在 ~/.ssh 目录中将会产生 2 个文件:id_dsa, 和 id_dsa.pub

合并三个节点上的 id_dsa.pub 到一个文件 authorized_keys 中,然后把 authorized_keys 复制到各个节点的 ~/.ssh 目录,并更改权限:

#chmod 644 authorized_keys


 

 

检验 SSH 信任关系配置是否成功,需要从任何 1 个节点发起对其他节点的命令,如从 p5501 上发出命令:

#ssh p5502 date


 

 

如果不提示输入口令,则信任关系配置成功。

安装 InfiniBand 相关软件包

uDAPL base fileset 从 AIX 6.1 TL3 expansion pack 光盘可以获得。

uDAPL 升级包 udapl.rte.6.1.0.1.bff 可以从下载地址:

http://www-933.ibm.com/eserver/support/fixes/fixcentral/pseriespkgoptions/ptf?fixes=U825646

Infiniband ifix 下载地址:

ftp://public.dhe.ibm.com/aix/efixes/iz68803/iz68803.epkg.Z

使用 smit installp 安装 uDAPL 基础包后,使用 smit update_all 安装 uDAPL 升级包,使用如下命令来安装 Infiniband ifix:

#emgr -e iz68803.epkg.Z


 

 

配置 Infiniband Communication Manager

在 3 个节点上执行如下命令,创建 icm 设备:

#mkdev -c management -s infiniband -t icm


 

 

配置 Infiniband IP 地址

在 3 个节点上使用如下命令,并输入相关参数,如 p5501 上配置如下:

#smit chinet


 

图 2. Infiniband IP 配置

需要注意的是,HCA Adapter 必须明确指定 Infiniband 适配器设备,如 iba0,否则服务器重启后 Infiniband 网卡 IP 将无法正常工作,另外 Adapter ‘ s port number 需要指定到连接了 Infiniband 线缆的端口(Infiniband 网卡为双口,我们实验环境仅连接了 1 条线缆)。

需要说明的是,DB2 pureScale 工作时,成员服务器和 CF 服务器间通讯使用的是 RDMA(Remote Direct Memory Access) 协议,直接读写对方内存,大大减少通讯成本开销,是 DB2 pureScale 高扩展性的重要保证技术之一。DB2 pureScale 并不使用高成本的 TCPIP over Infiniband 的技术,之所以需要给 Infiniband 网卡配置 IP 地址,主要是配置和连通性测试需要。

配置域名解析

在 3 个节点上编辑 /etc/hosts 文件,增加如下条目:

以下文章点击率最高

Loading…

     

如果这文章对你有帮助,请扫左上角微信支付-支付宝,给于打赏,以助博客运营

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注