一、keepalived工具介绍
专为LVS和HA设计的一款健康检查工具。Keepalived本质就是为ipvs服务的,它也不需要共享存储。IPVS其实就是一些规则,Keepalived主要的任务就是去调用ipvsadm命令,来生成规则,并自动实现将用户需要访问的地址转移到可用节点实现。所以keepalive的高可用是属于具有很强针对性的高可用,它和corosync这种通用性HA方案不同。支持故障自动切换(Failover),支持节点健康状态检查(Health Checking),
1、Keepalived实现原理剖析
Keepalived 是以 VRRP 协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。
虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master 和多个 backup,master 上面有一个对外提供服务的 VIP(Virtual IP Address)(该路由器所在局域网内其他机器的默认路由为该 vip),master 会发组播,当 backup 收不到 vrrp 包时就认为 master 宕掉了,这时就需要根据 VRRP 的优先级来选举一个 backup 当 master。这样的话就可以保证路由器的高可用了。
keepalived 主要有三个模块,分别是core、check 和 vrrp。core 模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check 负责健康检查,包括常见的各种检查方式。vrrp 模块是来实现 VRRP 协议的。
2、选举策略
首先,每个节点有一个初始优先级,由配置文件中的priority配置项指定,MASTER 节点的 priority 应比 BAKCUP 高。运行过程中 keepalived 根据 vrrp_script 的 weight 设定,增加或减小节点优先级。规则如下:
weight值为正时,脚本检测成功时”weight”值会加到”priority”上,检测失败时不加
- 主失败: 主priority < 备priority+weight之和时会切换
- 主成功: 主priority+weight之和 > 备priority+weight之和时,主依然为主,即不发生切换
weight为负数时,脚本检测成功时”weight”不影响”priority”,检测失败时,Master节点的权值将是“priority“值与“weight”值之差
- 主失败: 主priotity-abs(weight) < 备priority时会发生切换
- 主成功: 主priority > 备priority 不切换
当两个节点的优先级相同时,以节点发送VRRP通告的 IP 作为比较对象,IP较大者为MASTER。
3、优先级与权重参数设置
遵循规则:abs(MASTER priority - BAKCUP priority) < abs(weight),否则会出现集群脑裂的情况
二、Keepalived的安装及配置
1、Keepalived的安装
# yum -y install keepalived ipvsadm
# systemctl enable keepalived
配置文件:/etc/keepalived/keepalived.conf
程序文件:/usr/sbin/keepalived
2、配置
/etc/keepalived/keepalived.conf
global_defs {
router_id Curiouser # 声明虚拟路标识符,一般会写当前主机名称
vrrp_skip_check_adv_addr # 所有报文都检查比较消耗性能,此配置为如果收到的报文和上一个报文是同一个路由器发出的则跳过检查报文中的源地址。
vrrp_iptables #禁用防火墙策略,keepalived默认启动时会自动生成iptables策略,因此我们启用此项就可以不生成iptables的策略。
#严格遵守VRRP协议,即不允许以下三种状况:1.没有VIP地址;2.单播邻居;3.在VRRP版本2中有IPv6地址
#vrrp_strict #由于我下面配置基于单播地址发送消息,因此我这里手动禁用了严格模式,直接注释即可。
vrrp_garp_interval 0 # ARP报文发送延迟时间,0表示不延迟。
vrrp_gna_interval 0 # 消息发送延迟,0表示不延迟。
}
vrrp_script check_nginx {
script "/etc/keepalived/keepalived-untils.sh check_ngix"
interval 10
weight -20
}
#使用vrrp_instance指令定义一个VIP实例名称,这里定义VIP实例的名称为"VIP1",生产环境建议该名称和业务相结合。
vrrp_instance VIP1 {
state BACKUP # 指定当前实例默认角色,当前节点在此虚拟路由器上的初始状态,状态为MASTER或者BACKUP
#定义工作模式为非抢占模式(即当master重启,VIP会飘移到其它节点,重启完成后并不会将vip抢过来),需要两个keepalived的state的值均为"BACKUP",让它们根据个节点的优先级选择对应的master nopreempt
interface eth1 # 指定通过哪个本地网卡发送vrrp广播
virtual_router_id 27 # 定义当前虚拟路由器惟一标识,该id的范围是0-255,注意,用一组keepalived的id编号必须要一致
priority 150 # 当前物理节点在此虚拟路由器中的优先级;范围1-254
advert_int 2 # 定义vrrp广播的时间间隔,默认1s
unicast_src_ip 192.168.1.11 # 指定单播地址的源地址,需要禁用严格模式"vrrp_strict"
unicast_peer {
172.30.1.103 # 指定单播地址的对端地址
}
authentication {
auth_type PASS # 定义认证机制,密码仅支持8位
auth_pass 12345678
}
#指定虚拟IP地址,可以指定多个。
virtual_ipaddress {
192.168.1.11 dev eth1 label eth1:0
192.168.1.12 dev eth1 label eth1:1
}
track_script {
check_nginx
}
#定义通知脚本,当前节点成为主节点时触发的脚本
notify_master "/etc/keepalived/notify.sh master"
#定义通知脚本,当前节点转为备节点时触发的脚本
notify_backup "/etc/keepalived/notify.sh backup"
#定义通知脚本,当前节点转为“失败”状态时触发的脚本
notify_fault "/etc/keepalived/notify.sh fault"
}
脚本keepalived-untils.sh
#!/bin/sh
case $1 in
check_ngix )
nginxpid=$(ps -C nginx --no-header|wc -l)
#1.判断Nginx是否存活,如果不存活则尝试启动Nginx
if [ $nginxpid -eq 0 ];then
systemctl start nginx
sleep 3
#2.等待3秒后再次获取一次Nginx状态
nginxpid=$(ps -C nginx --no-header|wc -l)
#3.再次进行判断, 如Nginx还不存活则停止Keepalived,让地址进行漂移,并退出脚本
if [ $nginxpid -eq 0 ];then
systemctl stop keepalived
fi
fi
;;
notify_master )
;;
notify_slave )
;;
notify_fault )
;;
* )
;;
esac
三、设置keepalived主从
1、keepalived+lvs-DR主服务器的配置
# systemctl stop firewalld
# vim /etc/sysctl.conf //关闭ICMP重定向
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
# sysctl -p
# cd /etc/keepalived/
# cp keepalived.conf keepalived.conf.bak
# vim keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
#服务器的名称
router_id LVS_DEVEL1
}
#定义VRRP热备实例
vrrp_instance VI_1 {
#热备状态,MASTER表示主服务器
state MASTER
#承载VIP地址的物理接口
interface ens33
#虚拟路由器的ID号,每个热备组保持一致
virtual_router_id 51
#优先级,数值越大优先级越高
priority 100
#通告间隔秒数
advert_int 1
#认证信息,每个热备组保持一致
authentication {
#认证类型
auth_type PASS
#密码字串
auth_pass 1111
}
#指定漂移地址(VIP),可以有多个
virtual_ipaddress {
192.168.1.254
}
}
#虚拟服务器地址(VIP)、端口
virtual_server 192.168.1.254 80 {
#健康检查的间隔时间(秒)
delay_loop 15
#轮询(rr)调度算法
lb_algo rr
#直接路由(DR)群集工作模式
lb_kind DR
#连接保待时间(秒)
persistence_timeout 50
#应用服务采用的是TCP协议
protocol TCP
#第一个Web节点的地址、端口
real_server 192.168.1.30 80 {
#节点的权重
weight 1
#健康检查方式
TCP_CHECK {
#检查的目标端口
connect_port 80
#连接超时(秒)
connect_timeout 3
#重试次数
nb_get_retry 3
#重试间隔(秒)
delay_before_retry 3
}
}
real_server 192.168.1.40 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
# systemctl restart keepalived
2、keepalived+lvs-DR备份服务器的配置
# systemctl stop firewalld.service
# vim /etc/sysctl.conf //关闭ICMP重定向
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
# sysctl -p
# cd /etc/keepalived/
# cp keepalived.conf keepalived.conf.bak
# vim keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL2
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254
}
}
virtual_server 192.168.1.254 80 {
delay_loop 15
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.1.30 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.1.40 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
# systemctl restart keepalived
3、web1和web2服务器配置
# cd /etc/sysconfig/network-scripts/
# cp ifcfg-lo ifcfg-lo:0
# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.1.254 //配置群集ip地址192.168.1.254
NETMASK=255.255.255.255 //子网掩码为255.255.255.255
ONBOOT=yes
# ifup lo:0
# vim /etc/sysctl.conf //关闭ARP应答
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
# sysctl -p
# ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 192.168.1.254 netmask 255.255.255.255 //自动设置的VIP地址
loop txqueuelen 1 (Local Loopback)
# route add -host 192.168.1.254 dev lo:0 //添加一条vip本地访问路由
4、配置NFS
在nfs主机上配置共享存储服务器,提供给两台web服务器的后台网页存储
# yum -y install nfs-utils rpcbind
# systemctl enable nfs
# systemctl enable rpcbind
# systemctl restart nfs
# systemctl restart rpcbind
# mkdir -p /opt/wwwroot //设置共享目录
# vim /etc/exports
/opt/wwwroot 192.168.1.0/24(rw,sync,no_root_squash)
# systemctl restart nfs
# systemctl restart rpcbind
# showmount -e //重新启动服务并查看本机发布的NFS共享目录
Export list for localhost.localdomain:
/opt/wwwroot 192.168.1.0/24
在web客户机中启动服务
# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
# systemctl enable rpcbind
# mount 192.168.1.40:/opt/wwwroot /var/www/html/
# vim /etc/fstab
192.168.1.40:/opt/wwwroot /var/www/html nfs defaults,_netdev 0 0
评论区