lvs+keepalived+nginx实现高性能负载均衡集群

一、为什么要使用负载均衡技术?

1、系统高可用性

2、  系统可扩展性

3、  负载均衡能力

LVS+keepalived能很好的实现以上的要求,LVS提供负载均衡,keepalived提供健康检查,故障转移,提高系统的可用性!采用这样的架构以后很容易对现有系统进行扩展,只要在后端添加或者减少realserver,只要更改lvs的配置文件,并能实现无缝配置变更!

二、LVS+Keepalived介绍

1、  LVS

LVS是一个开源的软件,可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写,意思是Linux虚拟服务器。目前有三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR);八种调度算法(rr,wrr,lc,wlc,lblc,lblcr,dh,sh)。

2、  keepalived

Keepalived 是运行在lvs 之上,它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换,提高系统的可用性

三、环境:

四台服务器,系统全为CentOS6.8:

192.168.2.203 master lvs+keepalived

192.168.2.202 backup lvs+keepalived

192.168.2.204 web1(nginx)

192.168.2.205 web2 (nginx)

vip:192.168.2.13

其中nginx已预装好,这里不再写搭建过程

 

四、搭建并配置

1、分别在backup lvs和master lvs上安装lvs

1 root@bogon src]# yum -y install ipvsadm

2 已加载插件:fastestmirror

3 设置安装进程

4 Determining fastest mirrors

5 epel/metalink                                                                                   | 5.4 kB     00:00

6  * base: mirror.lzu.edu.cn

7 … …

8 已安装:

9   ipvsadm.x86_64 0:1.26-4.el6

10

11 作为依赖被安装:

12   libnl.x86_64 0:1.1.4-2.el6

13

14 完毕!

2、把ipvsadm模块加载进系统

1 [root@bogon src]# ipvsadm

2 IP Virtual Server version 1.2.1 (size=4096)

3 Prot LocalAddress:Port Scheduler Flags

4   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

5 [root@bogon src]# lsmod | grep ip_vs

6 ip_vs                 126897  0

7 libcrc32c               1246  1 ip_vs

8 ipv6                  336282  270 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6

3、分别在backup lvs和master lvs上安装keepalived(keepalived官网:http://www.keepalived.org/)

[root@bogon src]# tar zxf keepalived-1.2.24.tar.gz

[root@bogon src]# cd keepalived-1.2.24

[root@bogon keepalived-1.2.24]# ./configure –sysconf=/etc –with-kernel-dir=/lib/modules/2.6.32-642.3.1.el6.x86_64/

报错:

configure: error:

!!! OpenSSL is not properly installed on your system. !!!

!!! Can not include OpenSSL headers files.            !!!

系统缺少openssl-devel包所致

安装openssl-devel

root@bogon keepalived-1.2.24]# yum -y install openssl-devel

再次编辑安装

[root@bogon keepalived-1.2.24]# ./configure –sysconf=/etc –with-kernel-dir=/lib/modules/2.6.32-642.3.1.el6.x86_64/

Keepalived configuration

————————

Keepalived version       : 1.2.24

Compiler                 : gcc

Preprocessor flags       : -I/lib/modules/2.6.32-642.3.1.el6.x86_64//include

Compiler flags           : -Wall -Wunused -Wstrict-prototypes

Linker flags             :

Extra Lib                : -ldl -lssl -lcrypto

Use IPVS Framework       : Yes

IPVS use libnl           : No

IPVS syncd attributes    : No

IPVS 64 bit stats        : No

fwmark socket support    : Yes

Use VRRP Framework       : Yes

Use VRRP VMAC            : Yes

Use VRRP authentication  : Yes

With ip rules/routes     : Yes

SNMP keepalived support  : No

SNMP checker support     : No

SNMP RFCv2 support       : No

SNMP RFCv3 support       : No

SHA1 support             : No

Use Debug flags          : No

Stacktrace support       : No

Memory alloc check       : No

libnl version            : None

Use IPv4 devconf         : No

Use libiptc              : No

Use libipset             : No

Build genhash            : Yes

Build documentation      : No

阅读更多

Keepalived+LVS+Nginx负载均衡之高可用

系统整体设计是采用Nginx做负载均衡,若出现Nginx单机故障,则导致整个系统无法正常运行。针对系统架构设计的高可用要求,我们需要解决Nginx负载均衡出现单机故障时,系统正常运行的需求。所以系统架构引入Keepalived组件,实现系统高可用。

一、Keepalived介绍

Keepalived是分布式部署系统解决系统高可用的软件,结合LVS(Linux Virtual Server)使用,其功能类似于heartbeat,解决单机宕机的问题。

二、Keepalived技术原理

keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。通过VRRP协议结合LVS,对组群服务器监控情况,若master出现宕机情况,则将VIP漂移到backup机上。实现了分布式系统高可用。可以理解为:keepalived是LVS的管理软件,根据监控情况,将宕机服务器从ipvsadm移除掉。

三、Keepalived+LVS+Nginx实现系统高可用

 

服务器 IP地址 说明
虚拟IP 192.168.1.120:80
主机 192.168.1.104:80
备机 192.168.1.103:80
Web站点A 192.168.1.101:8081 不同端口
Web站点B 192.168.1.101:8082 不同端口

 

1、安装ipvsadm,CentOS7自带安装包,通过yum进行安装。实现系统支持LVS

1 yum install ipvsadm

2、安装Keepalived软件,并将keepalived设置开机启动

1 yum install Keepalived
1 systemctl enable keepalived

3、进行Keepalived.conf配置,如果是MASTER机,将state BACKUP改为state MASTER。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

vim /etc/keepalived/keepalived.conf

#配置的内容

! Configuration File for keepalived

 

global_defs {

notification_email {

xxx@126.com #收到通知的邮件地址

}

notification_email_from XX@126.com

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

 

vrrp_script monitor_nginx{

script “/usr/local/etc/keepalived/script/monitor_nginx.sh”

interval 1

weight -15

}

 

vrrp_instance VI_1 {

state BACKUP

interface eno16777736

virtual_router_id 51

priority 80

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.1.120

}

track_script {

monitor_nginx

}

}

 

virtual_server 192.168.1.120 80 {

delay_loop 6

lb_algo wrr

lb_kind DR

persistence_timeout 50

protocol TCP

 

real_server 192.168.1.103 80 {

weight 1

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

 

real_server 192.168.1.104 80 {

weight 5

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

4、配置监控shell脚本

阅读更多