RedHat 8.0/9.0 LVS安裝手冊(5)

三、做DR router的Load Balance：

那如果今天我有一堆机器，而且在上面执行的服务都相当的重要，所以只有一部Director对这些重要工作来说，是非常危险的，万一这部Director死掉了，那我的服务不就毁了？因此在这儿要介绍「mon+heartbeat+fake+coda」的heartbeat与fake的安装与设定。

1、下载安装文件

从http://www.linux-ha.org/download/ 抓取下列RPM档案：

heartbeat-1.0.3-1.rh.8.0.1.i386.rpm

heartbeat-1.0.3-1.rh.8.0.1.src.rpm

heartbeat-ldirectord-1.0.3-1.rh.8.0.1.i386.rpm

heartbeat-pils-1.0.3-1.rh.8.0.1.i386.rpm

heartbeat-stonith-1.0.3-1.rh.8.0.1.i386.rpm

从http://rpmfind.net 抓取下列RPM档案：

libnet-1.1.0-1.rh.8.0.um.1.i386.rpm

perl-Authen-SASL-2.03-1.rh.8.0.um.1.noarch.rpm

perl-Convert-ASN1-0.16-2.rh.8.0.um.1.noarch.rpm

perl-IO-Socket-SSL-0.92-1.rh.8.0.um.1.noarch.rpm

perl-Mail-IMAPClient-2.2.7-1.rh.8.0.um.1.noarch.rpm

perl-Net-SSLeay-1.22-1.rh.8.0.um.1.i386.rpm

perl-Parse-RecDescent-1.80-8.noarch.rpm

perl-XML-NamespaceSupport-1.08-2.noarch.rpm

perl-XML-SAX-0.12-1.rh.8.0.um.1.noarch.rpm

从http://search.cpan.org抓取下列perl-ldap档案，目前最新版本是0.27版本，其实都无所谓，可以用就好了。

perl-ldap-0.25.tar.gz (我这儿用以前我抓的tar.gz檔)

2、开始依照下列顺序安装：

# rpm -ivh perl-Convert-ASNI-0.16.2.rh.8.0.um.1.onarch.rpm

# perl -ivh perl-Authen-SASL-2.03-1.rh.8.0.um.1.noarch.rpm

# rpm -ivh perl-Net-SSLeay-1.22-1.rh.8.0.um.1.i386.rpm

# rpm -ivh perl-IO-Socket-SSL-0.92-1.rh.8.0.um.1.noarch.rpm

# rpm -ivh perl-Mail-IMAPClient-2.2.7-1.rh.8.0.um.1.noarch.rpm

# rpm -ivh perl-Parse-RecDescent-1.80-8.noarch.rpm

# rpm -ivh perl- NamespaceSupport-1.08-2.noarch.rpm

# rpm -ivh perl- XML-SAX-0.12-1.rh.8.0.um.1.noarch.rpm

# rpm -ivh libnet-1.1.0-1.rh.8.0.um.1.i386.rpm

# gzip -dc perl-ldap-0.25.tar.gz |tar xvf -

# cd perl-ldap-0.25

# perl Makefile

# make && make test && make install

# cd ..

需要的Perl module安装完毕，开始安装heartbeat的modules。

# rpm -ivh heartbeat-pils-1.0.3-1.rh.8.0.1.i386.rpm

# rpm -ivh heartbeat-stonith-1.0.3-1.rh.8.0.1.i386.rpm

# rpm -ivh heartbeat-1.0.3-1.rh.8.0.1.i386.rpm

下面这个module是一个整合所有功能的RPM，heartbeat官方网站有介绍。

# rpm -ivh --nodeps heartbeat-ldirectord-1.0.3-1.rh.8.0.1.i386.rpm

从http://www.linux-ha.org/这个网站上可以知道fake已经整合进heartbeat的功能里面，所以我们就不需要安装fake相关的程序了。

目前Linux-HA可以应用的方面如下：

oWeb servers

oLVS director servers

oMail servers

oDatabase servers

oFirewalls

oFile servers

oDNS servers

oDHCP servers

oProxy Caching servers

oetc.

我们这里的重点是要做LVS Director Servers的Failover机制，也就是要做HA(High availability)架构。所以对于heartbeat-ldirectord这个套件不作介绍，有兴趣的人请自行研究(http://www.linuxvirtualserver.org/HighAvailability.html)一文。

Linux-HA实验例子：

系统架构如同基本设置范例图形所示，只是这儿设置Primary Director为10.144.43.187 (linux187)，而Secondary Director为10.144.43.142(linux142)，而10.144.43.175(就是唯一的RealServer，但是事实上10.144.43.142与10.144.43.187上面还是有提供服务。简单的说就是Director可以互相备援，且Realserver失败的时候，会自动从Director上面将该笔资料自LVS的Routing Rule中消除。

1、在Linux142与Linux187上都将Mon与Heartbeat套件安装完成。且在/etc/rc.local中加入一个设定subinterface的shellscript(/root/conf/data)。

/root/conf/data 内容如下：

#!/bin/sh

# 开机时读取，设定LVS相关的设定值，此时扮演LVS中的RealServer的角色

PATH=/bin:/sbin:/usr/bin:/usr/sbin

export PATH

ifconfig lo:0 10.144.43.185 netmask 255.255.255.255 broadcast 10.144.43.185

echo 1 >/proc/sys/net/ipv4/ip_forward

echo 1 >/proc/sys/net/ipv4/conf/all/hidden

echo 1 >/proc/sys/net/ipv4/conf/lo/hidden

route add -host 10.144.43.185 dev lo:0

/etc/rc.local内容如下：

#!/bin/sh

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

# add subinterface

/root/conf/data

作这个动作的目的在于让Linux142、Linux187在开机的时候将lo:0这个subinterface加入在网络卡中，同时激活hidden避免ARP问题。记得chmod 755 data。

2、在Linux142与linux187中，接着设定Mon基本设定，修改/etc/mon/mon.cf，使其对nb8048、Linux187、linux142作监测。因为提供的服务是Port 8080，在/etc/services中的名称为（webcache）

# Extremely basic mon.cf file

# global options

cfbasedir = /etc/mon

pidfile = /var/run/mon.pid

statedir = /var/run/mon/state.d

logdir = /var/run/mon/log.d

dtlogfile = /var/run/mon/log.d/downtime.log

alertdir = /usr/lib/mon/alert.d

mondir = /usr/lib/mon/mon.d

maxprocs = 20

histlength = 100

randstart = 60s

authtype = userfile

userfile = /etc/mon/userfile

# group definitions (hostnames or IP addresses)

hostgroup server1 10.144.43.175

hostgroup server2 10.144.43.142

hostgroup server3 10.144.43.187

watch server1

service webcache

interval 10s

monitor http.monitor -p 8080 -t 10

allow_empty_group

period wd {Sun-Sat}

alert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.175 -W 5 -F dr

alertevery 1h

upalert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.175

-W 5 -F dr -u 1

watch server2

service webcache

interval 10s

monitor http.monitor -p 8080 -t 10

period wd {Sun-Sat}

alert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.142 -W 5 -F dr

alertevery 1h

upalert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.142

-W 5 -F dr -u 1

watch server3

service webcache

interval 10s

monitor http.monitor -p 8080 -t 10

period wd {Sun-Sat}

alert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.187 -W 5 -F dr

alertevery 1h

upalert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.187

-W 5 -F dr -u 1

3、编辑lvs.alert同前面提过的lvs.alert档案，放在/usr/lib/mon/alert.d/中。记得

chmod 755 lvs.alert

4、设定Heartbeat套件（High Availability）。

4.1、利用rpm -q heartbeat -d 将Heartbeat三个重要的设定档案(ha.cf、authkeys、haresources)，copy到/etc/ha.d目录下。

[root@linux142 conf]# rpm -q heartbeat -d

/usr/share/doc/heartbeat-1.0.3/authkeys

/usr/share/doc/heartbeat-1.0.3/ha.cf

/usr/share/doc/heartbeat-1.0.3/haresources

[root@linux142 conf]#

4.2 修改/etc/hosts内容如下：

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 localhost.localdomain localhost

10.144.43.142 linux142

10.144.43.187 Linux187

10.144.43.175 nb8048

4.3、修改/etc/ha.d/authkeys内容如下：

auth 1

1 sha1 doss123

其中doss123为重要的key。然后

# chmod 600 authkeys

4.4、修改/etc/ha.d/ha.cf内容如下：

logfacility local0 # 使用syslogd

keepalive 2# 每隔几秒送一次heartbeat讯号

deadtime 40# 多长时间就认定Primary Server Dead

initdead 240

# hopfudge maximum hop count minus number of nodes in config

nice_failback on

# 如果Service转移到Secondary，就不要再转移回Primary

hopfudge 1# ???

udpport 1001# 使用哪一个udp port

ucast eth0 10.144.43.142

# Primary用unicast送给Secondary，如果在 Secondary则送给Primary

node Linux187# 给定cluster中的节点

node linux142# 给定cluster中的节点

4.5、修改/etc/ha.d/haresources内容如下：

Linux187 10.144.43.185 lvs mon

这里设定Linux187在/etc/hosts里面要有设定，否则会找不到。且名称必须等于「uname -n」的内容。上面的意思是说，当heartbeat两边激活时，Linux187与linux142都激活时，会有linux187取得LVS VIP的控制权。而他会激活后面两个Service，lvs(我们皆下来要写的激活Daemon 的shell script)，而mon则是先前我们已经设定的好的mon daemon。

4.6、编写/etc/init.d/lvs（激活lvs daemon）内容如下：

#!/bin/sh

# /etc/init.d/lvs

# 当LVS Server激活时，也就是透过High Availability激活LVS程序时，

# 1.将Lo的hidden属性取消

# 2.将lo:0 down下来，将lo:0删除

# 3.设定相关LVS设定档案

PATH=/bin:/usr/bin:/sbin:/usr/sbin

export PATH

IPVSADM=/sbin/ipvsadm

case "$1" in

start)

if [ -x $IPVSADM ]

then

# 因为我们有设定lo:0的loopbback 的subinterface所以要先将相关设定移除

echo 1 > /proc/sys/net/ipv4/ip_forward

echo 0 > /proc/sys/net/ipv4/conf/all/hidden

echo 0 > /proc/sys/net/ipv4/conf/lo/hidden

route del -host 10.144.43.185 dev lo:0

ifconfig lo:0 down

# 建立Subinterface eth0:0

ifconfig eth0:0 10.144.43.185 netmask 255.255.255.255 broadcast 10.144.43.185

# 设定LVS/DR相关设定，建立8080 Port的Service

$IPVSADM -A -t 10.144.43.185:8080 -s rr

$IPVSADM -a -t 10.144.43.185:8080 -r 10.144.43.175 -w 5 -g

$IPVSADM -a -t 10.144.43.185:8080 -r 10.144.43.187 -w 5 -g

$IPVSADM -a -t 10.144.43.185:8080 -r 10.144.43.142 -w 5 -g

;;

stop)

if [ -x $IPVSADM ]

then

#---- 停止LVS Server，但是依然要回复RealServer的身份

$IPVSADM -C

echo 1 >/proc/sys/net/ipv4/conf/all/hidden

echo 1>/proc/sys/net/ipv4/conf/lo/hidden

ifconfig lo:0 10.144.43.185 netmask 255.255.255.255 broadcast 10.144.43.185

route add -host 10.144.43.185 dev lo:0

;;

echo "Usage: lvs {start|stop}"

exit 1

esac

exit 0

4.7、修改/etc/ha.d/resource.d/IPaddr 这个shellscript：

在add_interface() subrouteing 中新加入下列三行：

add_interface () {

ipaddr="$1"

ifinfo="$2"

iface="$3"

# On Linux the Alias is named ethx:y

# This will remove the "extra" interface Data

# leaving us with just ethx

case $SYSTYPE in

*BSD)

IFEXTRA=""

;;

IFEXTRA=`echo "$ifinfo" | cut -f2-`

;;

esac

case $SYSTYPE in

SunOS)

case `uname -r` in

5.8)

$IFCONFIG $iface plumb

CMD="$IFCONFIG $iface inet $ipaddr $IFEXTRA up"

;;

CMD="$IFCONFIG $iface inet $ipaddr $IFEXTRA up"

;;

esac

;;

*BSD)

CMD="$IFCONFIG $iface inet $ipaddr netmask 255.255.255.255 alias"

;;

CMD="$IFCONFIG $iface $ipaddr $IFEXTRA"

;;

esac

ha_log "info: $CMD"

$CMD

# 将subinterface的hidden属性打开，如此可避免ARP问题

echo 1 >/proc/sys/net/ipv4/conf/all/hidden

echo 1 >/proc/sys/net/ipv4/conf/lo/hidden

# 加入预设到VIP的route

route add -host $ipaddr dev $iface

rc=$?

case $rc in

;;

echo "ERROR: $CMD failed."

;;

esac

return $rc

}

4.8、至此有关Heartbeat的设定已经完成，记得上述档案在Linux187与linux142上都要一模一样，然后

# setup

将heartbeat的服务设定为激活，之后将两台机器重新开机。

5、在linux187上利用ipvsadm -l检查LVS的Routing Rule，是否如下所示：

[root@Linux187 root]# ipvsadm -l

IP Virtual Server version 1.0.9 (size=65536)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 10.144.43.185:webcache rr

-> Linux187:webcache Local 5 0 0

-> linux142:webcache Route 5 0 0

-> nb8048:webcache Route 5 0 0

然后作些测试，将187的eth0 利用ifconfig eth0 down，看看有没有切换到142去。

6、设定至此看起来都没问题，但是每次Primary Diretcor设备如果网络突然断掉，然后Primary网络又突然恢复的时候，会造成Primary与Secondary Director上的LVS Server都同时激活。有兴趣的人可以在primary Diretcor上用

# ifconfig eth0 down

将Primary的网络卡down下来，等一会约一分钟，再用

#ifconfig eth0 up

#route add -net 0.0.0.0 gw 10.144.43.254

然后，你再连上linux142与linux187上，输入ipvsadm -l，就会发现两边的LVS/Direct Routing都激活了，这显然不是我们所希望的结果。

要解决这个问题，需要利用mon这个dameon，来做到。

想法如下：

(1)、每隔一段时间，去ping 10.144.43.254(ping gateway)，若发现GATEWAY在连续六次都没有反应后，就要将lvs的服务关闭(/etc/init.d/lvs stop)，此时认定是自己网络卡已经故障，无法Ping出去。因为即便是Gateway死掉，此时整个网络对外边已经没有作用，激活lvs也没用，故需要关闭他。

(2)、若发现Gateway突然又Ping的到了，此时要将heartbeat service给restart（取得主动权）(/sbin/service heartbeat start)，如此经过一段时间，Primary的Director将会取得LVS Server的位置，而Slave Director会回复到RealServer与Backup Director的位置。

7、为了解决LVS server同时激活的困扰，我们需要在mon服务中再加入一个hostgroup，/etc/mon/mon.cf内容如下：

# Extremely basic mon.cf file

# global options

cfbasedir = /etc/mon

pidfile = /var/run/mon.pid

statedir = /var/run/mon/state.d

logdir = /var/run/mon/log.d

dtlogfile = /var/run/mon/log.d/downtime.log

alertdir = /usr/lib/mon/alert.d

mondir = /usr/lib/mon/mon.d

maxprocs = 20

histlength = 100

randstart = 60s

authtype = userfile

userfile = /etc/mon/userfile

# group definitions (hostnames or IP addresses)

hostgroup server1 10.144.43.175

hostgroup server2 10.144.43.142

hostgroup server3 10.144.43.187

# network gateway

hostgroup server4 10.144.43.254

watch server1

service webcache

interval 5s

monitor http.monitor -p 8080 -t 10

allow_empty_group

period wd {Sun-Sat}

alert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.175 -W 5 -F dr

alertevery 1h

alertafter 6

upalert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.175

-W 5 -F dr -u 1

watch server2

service webcache

interval 5s

monitor http.monitor -p 8080 -t 10

period wd {Sun-Sat}

alert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.142 -W 5 -F dr

alertafter 6

alertevery 1h

upalert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.142

-W 5 -F dr -u 1

watch server3

service webcache

interval 5s

monitor http.monitor -p 8080 -t 10

period wd {Sun-Sat}

alert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.187 -W 5 -F dr

alertafter 6

alertevery 1h

numalerts 24

upalert lvs.alert -P tcp -V 10.144.43.185:8080 -R 10.144.43.187

-W 5 -F dr -u 1

watch server4

service ping

interval 10s

# 使用哪一个monitor去作测试

monitor ping.monitor 10.144.43.254

period wd {Sun-Sat}

# 每个小时丢一个alert

alertevery 1h

# 连续测试六次失败才丢出第一个alert

alertafter 6

# 最多丢12个alert

numalerts 12

# alert时呼叫heartbeat.alert

alert heartbeat.alert

# upalert时呼叫heartbeat.alert -u

upalert heartbeat.alert -u

# See /usr/doc for the original example...

8、从上面/etc/mon/mon.cf中，可以发现我们要自己写一个alert发生时被呼叫的script，这里我用perl 写了一个简单的Script放在（/usr/lib/mon/alert.d/heartbeat.alert）。

#!/usr/bin/perl

# heartbeat.alert - Linux Virtual Server alert for mon

# It can be activated by mon to remove a real server when the

# service is down , or add the server when the service is up

use Getopt::Std;

getopts("u");

$service ="/sbin/service";

$u = $opt_u;

if($opt_u){

# 重新激活heartbeat服务

system("$service heartbeat restart");

}else{

# 停止lvs server

system("/etc/init.d/lvs stop");

}

9、测试系统

确认linux187与linux 142的设定与档案文件相同，然后两边同时重新激活heartbeat service，至此Linux-HA系统正式完成，可以作些测试。例如：拔掉Director的网络线一段时间，看看Secondary有没有take over，然后再插回去，看看Primary有没有回复原本Director的身份，可试着将将Primary reboot，看看Secondary会不会take over，然后master起来的时候，应该还是Secondary Diretcorr在作用。其中或许会有些参数不大对，但是可以自己慢慢修正。