DB2 pureScale 采用了和业界联机事务处理”黄金”标准的 DB2/zOS 相同的共享存储体系架构、集中式缓存和锁管理,硬件配置上要求能够通过 SAN 网络访问数据库共享磁盘,需要高性能、低延迟的 InfiniBand 交换机和板卡。
DB2 pureScale 目前支持的服务器包括 IBM Power 6-550 和 595,IBM Power7 全系列服务器。由于 IBM Power6-570 服务器没有 GX+ 插槽,无法安装 Infiniband 网卡,因此不被 DB2 pureScale 支持,DB2 pureScale 后续版本将提供对 IBM PC 服务器的支持。
DB2 pureScale 支持的存储为所有 GPFS 文件系统支持的存储,具体参见:
http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/index.jsp?topic=/com.ibm.cluster.gpfs.doc/gpfs_faqs/gpfsclustersfaq.html
DB2 pureScale 强烈推荐使用支持 SCSI-3 协议的存储,尽管 DB2 pureScale 也可以支持非 SCSI-3 协议的存储,但是发生故障时,IO 屏蔽的时间将大为延长,这将严重影响宕机时数据库受影响数据的恢复时间。
我们在安装 DB2 pureScale 前,需要仔细检查硬件环境是否满足要求,否则后续的安装配置工作将无法顺利开展,在使用过程中也可能出现不确定的问题。
实验环境配置及规划
我们实验环境硬件环境的硬件配置和规划如下:
服务器配置
表 1. DB2 pureScale 实验环境服务器配置
服务器(主机名) |
详细配置 |
IP地址 |
InfiniBand网络名 |
InfiniBand IP地址 |
p5501 |
6CPU 48G 内存 1 块 8GB HBA 1 块 IB 卡 |
172.16.24.121 |
p5501ib |
10.10.10.1 |
p5502 |
6CPU 48G 内存 1 块 8GB HBA 1 块 IB 卡 |
172.16.24.122 |
p5502ib |
10.10.10.2 |
p5503 |
6CPU 48G 内存 1 块 8GB HBA 1 块 IB 卡 |
172.16.24.123 |
p5503ib |
10.10.10.3 |
存储配置
IBM DS4800 48 块 146GB 光纤磁盘,划分成 6 个 RAID10 (4+4),具体 LUN 使用情况:
#mpio_get_config -A Storage Subsystem worldwide name: 60ab8001132000004babff15 Storage Subsystem Name = ‘DS4800-01-PureScal_ZSJ_D011231’ hdisk LUN # Ownership User Label hdisk6 0 B (preferred) datagpfs1 hdisk7 1 B (non-preferred) votgpfs1 hdisk8 2 B (non-preferred) B1 hdisk9 3 B (preferred) B2 hdisk10 4 B (non-preferred) B3 hdisk11 5 B (preferred) B4 hdisk12 6 B (non-preferred) B5 hdisk13 7 B (preferred) B6 |
为简洁起见,我们这里仅列示了服务器 p5501 磁盘情况,实际上每台服务器均可看到相同的命令输出。
物理卷 |
User Label |
用途 |
文件系统挂载点 |
hdisk6 |
datagpfs1 |
pureScale 实例共享 GPFS 文件系统 |
/db2sd_20100521145928 |
hdisk7 |
votegpfs1 |
GPFS 仲裁盘 |
|
hdisk8 |
B1 |
数据库数据 GPFS 文件系统 |
/db2data |
hdisk9 |
B2 |
数据库数据 GPFS 文件系统 |
/db2data |
hdisk10 |
B3 |
数据库数据 GPFS 文件系统 |
/db2data |
hdisk11 |
B4 |
数据库数据 GPFS 文件系统 |
/db2data |
hdisk12 |
B5 |
数据库数据 GPFS 文件系统 |
/db2data |
hdisk13 |
B6 |
数据库日志 GPFS 文件系统 |
/db2log |
InfiniBand 交换机配置
1 台 Qlogic 9024CU
InfiniBand 卡配置
如果在 1 台物理服务器划分多个 LPAR,分别运行 DB2 pureScale 成员服务器或 CF,有时候需要在 LPAR 间共享使用 Infiniband 卡,这时我们需要通过 HMC 对 LPAR 的 HCA 资源进行配置:
建议 GUID 号和分区号保持一致,同时对 HCA 使用容量进行正确的设置。HCA 卡容量使用方式分为:
Dedicated( 专用 ) :分配 100% 的资源
High(高):分配 25% 的资源
Medium (中):分配 12.5% 的资源
Low (低):分配 6.25% 的资源
对于 p6-550 或 p750 服务器,如果 1 个成员服务器和 1 个 CF 服务器在 1 台物理服务器上,建议分配给 CF 服务器 75% 的 HCA 资源;对于 p6-595 或 p770, p780 服务器,建议成员服务器和 CF 服务器均使用专用的 HCA 资源。
硬件安装配置完毕后,我们就可以开始安装 DB2 pureScale 了,不过,我们还是有些安装前的配置工作需要完成:
安装操作系统和补丁
DB2 pureScale 建议安装 AIX 6.1.3 SP3,C++ runtime 最低级别要求 xlC.rte 9.0.0.8 ,IOCP 软件包级别要求 6.1.3.1 ,系统微码级别要求为 3.5 或以上。
配置 SSH 信任关系
在 3 个节点 p5501, p5502, p5503 上 root 用户登录,执行命令:
#ssh-keygen -t dsa
|
直接回车接受默认值,在 ~/.ssh 目录中将会产生 2 个文件:id_dsa, 和 id_dsa.pub
合并三个节点上的 id_dsa.pub 到一个文件 authorized_keys 中,然后把 authorized_keys 复制到各个节点的 ~/.ssh 目录,并更改权限:
#chmod 644 authorized_keys
|
检验 SSH 信任关系配置是否成功,需要从任何 1 个节点发起对其他节点的命令,如从 p5501 上发出命令:
#ssh p5502 date
|
如果不提示输入口令,则信任关系配置成功。
安装 InfiniBand 相关软件包
uDAPL base fileset 从 AIX 6.1 TL3 expansion pack 光盘可以获得。
uDAPL 升级包 udapl.rte.6.1.0.1.bff 可以从下载地址:
http://www-933.ibm.com/eserver/support/fixes/fixcentral/pseriespkgoptions/ptf?fixes=U825646
Infiniband ifix 下载地址:
ftp://public.dhe.ibm.com/aix/efixes/iz68803/iz68803.epkg.Z
使用 smit installp 安装 uDAPL 基础包后,使用 smit update_all 安装 uDAPL 升级包,使用如下命令来安装 Infiniband ifix:
#emgr -e iz68803.epkg.Z
|
配置 Infiniband Communication Manager
在 3 个节点上执行如下命令,创建 icm 设备:
#mkdev -c management -s infiniband -t icm
|
配置 Infiniband IP 地址
在 3 个节点上使用如下命令,并输入相关参数,如 p5501 上配置如下:
#smit chinet
|
需要注意的是,HCA Adapter 必须明确指定 Infiniband 适配器设备,如 iba0,否则服务器重启后 Infiniband 网卡 IP 将无法正常工作,另外 Adapter ‘ s port number 需要指定到连接了 Infiniband 线缆的端口(Infiniband 网卡为双口,我们实验环境仅连接了 1 条线缆)。
需要说明的是,DB2 pureScale 工作时,成员服务器和 CF 服务器间通讯使用的是 RDMA(Remote Direct Memory Access) 协议,直接读写对方内存,大大减少通讯成本开销,是 DB2 pureScale 高扩展性的重要保证技术之一。DB2 pureScale 并不使用高成本的 TCPIP over Infiniband 的技术,之所以需要给 Infiniband 网卡配置 IP 地址,主要是配置和连通性测试需要。
配置域名解析
在 3 个节点上编辑 /etc/hosts 文件,增加如下条目:
以下文章点击率最高
Loading…