WebSphere MQ 性能调优浅谈(二)

二、 与队列属性有关的MQ性能考虑因素

1 消息的永久性和非永久性

大家知道,MQ的消息分为永久性消息和非永久性消息两种,永久性消息是保存在硬盘存储介质上的,需要纪录日志的;相反,非永久性消息是存储在内存中的,不需要硬盘读写,因此使用非永久性消息的性能比永久性消息的性能要高很多,具体而言,最大可以提高近十倍。要注意的是,只有永久性消息的可靠性是可以保证的,即在发生故障,如当系统重启或队列管理器重启时,可以保证不丢失。因此,应根据您的业务需求和网络状况来确定消息的属性。

2 调整队列的相关参数设置:

对于队列而言,除了可以通过MQSC的”define queue”命令设置它的属性之外,有另外两个参数直接影响队列的性能,而这两个参数只有通过qm.ini文件进行设定。它们分别是:队列文件的大小(Maximum amount of bytes in a queue)和为每一个队列的非永久性消息保留的内存大小(Maximum amount of memory reserved for non-persistent messages),它们的缺省值分别对应于DefaultQFileSize和DefaultQBufferSize这两个参数。

队列的定义存储在硬盘上,并且在队列被打开时申请资源。我们可以设置队列DafaultQFileSize和DafaultQBufferSize两个参数来确定队列的定义参数,这些参数在队列管理器重启时生效,下面分别给予描述。

1) 队列文件大小
缺省情况下,队列文件在硬盘上的大小最大是320M, 它会被预先分配195kb内存,这195kb内存会在队列打开时获得。队列文件的大小最大值可以达到1G bytes, 这可以通过设置DefaultQFileSize参数来设定,当其设为1G时,队列打开时会申请350kb内存。

2)非永久性消息对应的内存大小
缺省情况下,对每个队列而言,用来存储non-persistent消息的共享内存是64kb, 我们可以通过修改DafaultQBufferSize参数将其增加至1MB。在打开队列的时候,要申请如此数量的内存,因此它直接影响到队列管理器需要的内存资源的大小,包括实存和虚存。推荐值是把该值设制成64kb的两倍,即128kb。永久性消息是存在硬盘上的,而非永久性消息是存在内存中的,当设定的buffer不够时,要进行磁盘交换,速度就会减慢,把它扩大后,若不进行硬盘交换,读取队列的速度就会快。当然,对该参数的修改也取决于系统实际物理内存的大小。

修改这两个参数的方法是更改队列管理器配置文件qm.ini的相关参数,具体方法举例如下:

在qm.ini文件中增加如下一节:

TuningParameters:

DefaultQBufferSize=128000

DefaultQFileSize =1000000000

3 队列的深度和队列上的消息的长度的设置也会影响性能。
对每一个队列而言,都会被分配一个设定的buffer size,当磁盘I/O很高时,说明队列的buffer size满了,从而产生了硬盘交换。每个消息的大小乘以队列的深度决定了队列上消息占内存的大小,可以增加队列的个数或者增加队列的buffer size来提高性能。

4 设置多个队列提高并行处理能力
例如在总部,可以针对每一个分支机构设置一个队列,采用多个应用程序读取这些队列;对于同一个队列,也可以采用多个进程/线程同时进行读取操作。

三、与日志有关的MQ性能考虑因素:

1 把MQ的log 和queue files 放在不同的文件系统上。即将/var/mqm/log, /var/mqm文件系统分开。

在安装MQ的时候,我们经常推荐大家创建两个文件系统,即/var/mqm/log和/var/mqm,为了提高MQ的性能,我们建议把这两个文件系统放在不同的物理磁盘上,以提高磁盘I/O的效率。这是由于,在记录数据日志时,MQ会同时更新位于/var/mqm下的队列文件以及位于/var/mqm/log下的数据日志,因此建议把它们放在不同的物理盘上。

2 扩大MQ的日志文件大小和个数

在qm.ini配置文件中,有一小节是专门控制MQ的系统日志的,如下所示:

Log:

LogPrimaryFiles=3

LogSecondaryFiles=2

LogFilePages=1024

LogType=CIRCULAR

LogBufferPages=17

LogPath=/var/mqm/log/QM1

其中,LogPrimaryFiles和LogSecondaryFiles指定了日志文件的个数,LogFilePages指定了每个日志文件的大小,LogBufferPages指定了日志缓冲区的大小,这些参数都可以影响MQ的性能。

增大这些参数的设定值,可以提高性能。例如:假设您设计MQ的日志总容量为128MB,那麽,采用2个64MB的日志文件的性能,要优于采用24个4MB的日志文件。这是因为它减少了日志文件切换的次数和频率,尤其在AS/400系统上,更为显著。

在unix系统中,LogFilePages的缺省值为1024,即4MB,最大值为16384,即64MB。而Primary和Secondary日志文件的总个数不能超过63个。为了提高性能,我们可以将LogFilePages和LogPrimaryFiles设置为较大的值,这可以通过MQ的控制命令crtmqm来设置,方法如下:

crtmqm -lf <LogFilePages> -lp <LogPrimaryFiles> -ls <LogSecondaryFiles>

或者通过修改qm.ini文件来设置。

除了物理日志文件的大小和个数之外,LogBufferPages代表日志缓冲区的大小,增大它的数值,也可以提高性能,如:可以把它的值设置为最大,即512x4K pages=2MB,这样,在日志写盘操作时,可以一次将2MB的数据从缓冲区写入磁盘。修改LogBufferPages的方法是修改qm.ini文件来实现。

 

四、与channel有关的MQ性能考虑因素:

1. 选择侦听程序(Listener)的线程/进程运行方式:

MQ的侦听程序有两种配置和启动方式,一种是通过配置/etc/inetd.conf文件选择使用inetd方式, 也可以使用MQ自身提供的runmqlsr程序,所不同的是:runmqlsr 是一个线程应用,所以比inetd需要更少的内存消耗。因此,采用runmqlsr方式可以提高通道相关的性能。

2. 选择通道的线程/进程运行方式

与侦听程序类似,与MQ通道对应的MCA代理程序也可以有线程和进程两种运行方式,可以通过定义通道的MCATYPE属性来设置通道MCA的运行方式为thread方式。让通道以线程方式运行而非进程方式运行,这样可以减少通道运行的进程个数和消耗的内存资源。

对于以上两点,要注意的是:当通道的连接个数很多时,如在Unix平台上超过500个时,建议MCATYPE和listener采用进程的方式。

3. 设置侦听程序的trusted运行方式

4. 与MQ应用程序类似,MQ的通道侦听程序也有trusted(fastpath)和non trusted(standard)两种运行方式,采用trusted运行方式可以降低CPU和内存消耗。将通道和侦听程序设置为trusted方式运行的方法是通过修改qm.ini配置文件中的MQIBindType参数来实现,即创建或修改qm.ini文件中与Channels相关的小节,例如:

Channels:

  1. MQIBindType=FASTPATH 或者
    MQIBindType=STANDARD

其中,FASTPATH表示trusted运行方式,而STANDARD表示非trusted运行方式。

4. 加大通道的PipeLineLength属性

5. 从MQ版本V5.2开始,MQ提供了一个新的通道参数,即PipeLineLength属性,通过该属性,可以设置MCA采用多个线程的方式来传输消息,从而成为提高通道性能的又一个手段。缺省情况下,该参数数值为1,任何大于1的设置MQ本身都会将其设置为2。

设置PipeLineLength的方法是修改qm.ini文件的Channels一节,如下:

Channels:

  1. PipeLineLength=2

注意,必须在通道两端都进行设置,否则会自动取两者之间的最小值。

5. 设置MaxChannels和MaxActiveChannels属性

6. MaxChannels和MaxActiveChannels分别代表队列管理器允许配置的通道的最大个数和允许同时运行的通道的个数,MaxChannels的缺省值是100,MaxActiveChannels的缺省值与MaxChannels相同。如果您的并发通道连接个数超过了100,您需要修改这两个参数。这对于大并发的Client/Server间通讯尤为重要。

6. 调整通道的Batchsz( )属性

7. 通道的Batchsz( )值是影响通道性能的一个关键参数。在MQ进行消息传输时,通道对消息的处理也是在同步点的控制之下并具有交易特性的,在以下条件满足时,它将统一提交一批消息:
当发送的消息个数达到BATCHSZ时;或传输队列为空,并且在BATCHINT指定的时间间隔内一直没有消息到达时。

缺省情况下,通道的Batchsz是50,这是一个较为合理和优化的设置。一个小的Batch size值会使每条消息占用大的资源。比如,假设我们在局域网的情况下,Batch size值越大,通道的性能越好。然而,在广域网环境下,要根据网络状况的好坏来设置该参数,若网络状况很差,Batch size值越大,可能会导致通道的性能越差。

7. 推荐在两个队列管理器之间同方向上建立一条通道。

8. 设置通道的NPMSPEED(FAST)属性。

如前所述,MQ的消息分为永久性消息和非永久性消息两种,对于非永久性消息,通道属性NPMSPEED可以设置为FAST和NORMAL,为了提高性能,可以设定该属性为FAST。

除了队列、队列管理器日志大小、通道和API的使用和设置对MQ性能的影响之外,MQSeries的性能与系统的资源或性能息息相关,如系统的CPU, RAM, Disk (I/O), network等方面的配置会直接影响WebSphere MQ的性能,在此,就不一一列举

以下文章点击率最高

Loading…

     

如果这文章对你有帮助,请扫左上角微信支付-支付宝,给于打赏,以助博客运营

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注