网站域名解析登陆,临沂网站建设技术支持,建设国外网站,电子商务网站建设实训室简介一、简介
1.1 什么是集群#xff1f; 两台及以上的计算机完成一个任务的模式称为集群。
常见的集群类型包括#xff1a; LB#xff08;负载均衡#xff09;集群#xff1a;按照不同的算法将前端的访问转发给后端计算点#xff0c;使节点负载相对平衡。提高并发能力 缺…一、简介
1.1 什么是集群 两台及以上的计算机完成一个任务的模式称为集群。
常见的集群类型包括 LB负载均衡集群按照不同的算法将前端的访问转发给后端计算点使节点负载相对平衡。提高并发能力 缺点负载节点只有一个容易访问瓶颈可能存在单点故障 解决方法增加多个节点选举主节点master访问的IP称为VIP正常情况下绑定在master上。节点之间有一条心跳检测的线路若master心跳检测不到了重新选举masterVIP漂移到新的节点上。 HA高可用性集群保障应用持久、不间断的提供服务出现故障时应用可以自动快速的切换节点 重切换节点方式称为漂移 HPC高性能计算集群软硬件协同工作的系统通过集群架构、并行算法等实现单台计算机无法达到的运行速度。科研居多 1.2 基于Linux的负载均衡集群软件 LVS——开源的四层传输层负载均衡软件 Nginx——支持四层和七层应用层负载均衡 HAProxy——支持四层和七层负载均衡
1.3 基于Linux的高可用集群软件 Keepalived:轻量级高可用集群部署软件为LVS设计可实现集群的心跳检测、虚拟IP漂移等功能 Hearbeat与keepalived类似但不控制虚拟IP的漂移配置也比较复杂。更擅长资源服务的控制NFS Pacemaker开源集群资源管理器不具备心跳检测需依赖Corosync或Hearbeat应用广泛可同时适用于任何规模的集群
集群常见概念 VIP虚拟IP一般使用VIP向外提供服务避免切换master后引起的业务访问IP变化 地址漂移VIP从一台主机切换到另一台主机 心跳机制、在高可用集群中主机之间相互监控彼此状态以决定哪台主机提供服务 脑裂现象、如果节点之间心跳中断或不正常会导致彼此之间争夺资源 代理正向代理和反向代理。相对与被代理者来说的正向代理被代理的是客户端客户需要什么反向代理被代理的是服务端商店提供什么 1.4 LVS相关术语 为了方便大家探讨LVS技术LVS社区提供了一个命名的约定内容如下表 1.5 LVS调度算法
调度方法决定了如何在这些集群节点之间分布工作负荷。 当Director收到来自客户端计算机访问她的VIP上的集群服务的入站请求时Director必须决定那个集 群节点应该获得请求。Director可用于做出该决定的调度方法分成两个基本类别 固定调度算法rrwrrdhsh 动态调度算法wlclblclblcrSEDNQ后两种官方站点没提到
算法说明rr 轮循调度Round-Robin, 它将请求依次分配不同的RS也就是在RS中均摊请求。这种算法简单但是只适合于处理性能相差不大的情况 wrr 加权轮循调度Weighted Round-Robin 它将依据不同RS的权值分配任务。权值较高的RS将优先获得任务并且分配到的连接数将比权值较低的RS更多。相同权值的RS得到相同数目的连接数。 dh 目的哈希调度Destination Hashing 以目的地址为关键字查找一个静态hash表来获得需要的RS。 sh 源地址哈希调度source hashing 以源地址为关键字查找一个静态hash表来获得需要的RS。 wlc 加权最小连接数调度weighted leastconnection 假设各台RS的权值依次为wii1..n当前的TCP连接数依次为Tii1..n依次选取Ti/Wi为最小的RS作为下一个分配的RS。 lc 最小连接数调度Least-Connection IPVS表存储了所有的活动的连接。把心的连接请求发送到当前连接数最小的RS。 lblc 基于地址的最小连接数调度locality-Based Least-Connection 将来自同一目的地址的请求分配给同一台RS如果这台服务器尚未满负荷否则分配给连接数最小的RS并以它为下一次分配的首先考虑。 lblcr 基于地址带重复最小连接数调度Locality-Based Least-Connection with Replication 对于某一目的地址对应有一个RS子集。 对此地址请求为它分配子集中连接数最小RS如果服务器中所有子集均已满负荷则从集群中选择一个连接数较小服务器将它加入到此子集并分配连接若一定时间内未被做任何修改则将子集中负载最大的节点从子集删除。 SED 最短期望的延迟shortest expected delay scheduling SEDSED 基于wlc算法。 举例 ABC三台机器分别权重123连接数也分别是123.那么如果使用wlc算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用sed算法后会进这样一个运算 A(11)/1 B(12)/2 C(13)/3 根据运算结果把连接交给C。 NQ 最少队列调度Never Queue Scheduling NQNQ 无需队列。如果有台realserver的连接数0就直接分配过去不需要在进行sed运算
二、负载均衡集群
2.1 LVS工作模式——DR配置
在DR模式中所有的RS(真实的服务器)都需要配置两个地址RIP和VIP
环境四台虚拟机 一台配置为LVS服务器 两台用于Nginx服务器的搭建 剩余一台为Client.
LVS仅需要一个网卡可用两台Nginx服务器和LVS服务器处于同一子网中客户端位于另一个子网 思路如下 实际配置自己方便区分即可但是VIP必须是该网段里没用过的
LB 192.168.1.111
RSnginx1 192.168.1.112
RSnginx2 192.168.1.113
Client 192.168.1.11
VIP 192.168.1.10后续单独配置
2.1.1 nginx服务器配置 1.RS下载nginx服务
两个nginx服务器都尝试相同的操作 yum install nginx -y 会提供一个默认主页 尝试访问主页
向主页输入内容
[rootopeneuler-1 ~]# echo web test page,ip is hostname -I. /usr/share/nginx/html/index.html 设置开机自启动将输入的内容覆盖原有页面
[rootopeneuler-1 ~]# systemctl enable --now nginx
Created symlink /etc/systemd/system/multi-user.target.wants/nginx.service → /usr/lib/systemd/system/nginx.service.访问页面覆盖成功
[rootopeneuler-1 ~]# curl localhost
web test page,ip is 192.168.1.113 .注意 hostname -I 表示输入当前主机IP 两台机器ip不一样所以访问出来的页面IP也不一样
纠错提醒如果输入时内容输错重新输入重启服务即可覆盖
如果输错了文件夹将其移动到正确的文件即可不用重启 mv /错误的文件 /正确的文件
2.绑定VIP
[rootopeneuler-1 ~]# nmcli con add type dummy ifname dummy1 ipv4.method manual ipv4.addresses 192.168.1.10/32
Connection dummy-dummy1 (231b9ead-7b44-4daf-b8b1-2a9a6d864dfb) successfully added.
[rootopeneuler-1 ~]# ip a3.arp抑制
在文件最后加入如下配置
[rootopeneuler-1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore 1
net.ipv4.conf.all.arp_announce 2
net.ipv4.conf.dummy1.arp_ignore 1
net.ipv4.conf.dummy1.arp_announce 2使文件生效
[rootopeneuler-1 ~]# sysctl -p查看是否生效
[rootopeneuler-1 ~]# ip a
...
3: dummy1: BROADCAST,NOARP,UP,LOWER_UP mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
...
到此nginx服务器就配置完成了。
2.1.2 LB服务器配置
1绑定VIP nmcli con add type dummy ifname dummy1 ipv4.method manual ipv4.addresses 192.168.1.10/32 2安装工具ipvsadm
yum install ipvsadm -y 3LVS配置 手工执行配置添加LVS服务并增加两台RS
[rootDirectory ~]# ipvsadm -C 清除当前配置 [rootDirectory ~]# ipvsadm --set 30 5 60
因为此前没有配置过所以这两步可省略直接添加LVS服务
添加LVS服务
[rootDirectory ~]# ipvsadm -At 192.168.1.10:80 -s rr增加真实的服务器RS
[rootDirectory ~]# ipvsadm -at 192.168.1.10:80 -r 192.168.1.112:80 -g
[rootDirectory ~]# ipvsadm -at 192.168.1.10:80 -r 192.168.1.113:80 -g 查看配置[rootDirectory ~]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size4096)Prot LocalAddress:Port Scheduler Flags- RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.1.10:80 rr- 192.168.1.112:80 Route 1 0 0 - 192.168.1.113:80 Route 1 0 0
rr轮询算法 轮流提供服务
-gDR模式
-At -A -t 两种写法可分开也可合并 [相关参数说明] [rootDirectory ~]# ipvsadm –help -A 添加虚拟服务器 -t 设置群集地址VIPVirtual IP -s 指定负载调度算法 -a 添加真实服务器 -d 删除真实服务器 -r 指定真实服务器Real Server的地址 -m 使用NAT模式-g、-i分别对应DR、TUN模式 -w 为节点服务器设置权重默认为1 [删除方法] # ipvsadm -D -t 192.168.79.110:80 -s wrr # ipvsadm -d -t 192.168.79.110:80 -r 192.168.79.118:80
2.1.3 client客户机测试
1测试连通性
访问nginx服务器113服务器无法访问可能是该服务器防火墙有限制 阻止了对目标端口如 80 端口的访问
[rootopeneuler-1 ~]# curl 192.168.1.112
web test page,ip is 192.168.1.112 .
[rootopeneuler-1 ~]# curl 192.168.1.113
curl: (7) Failed to connect to 192.168.1.113 port 80 after 0 ms: No route to host开放nginx113服务器80端口
[rootopeneuler-1 ~]# firewall-cmd --zonepublic --add-port80/tcp --permanent
success
[rootopeneuler-1 ~]# firewall-cmd --reload
success再次访问
[rootopeneuler-1 ~]# curl 192.168.1.113
web test page,ip is 192.168.1.113 .2关闭服务器和客户机的防火墙和SElinux
ps每台都要关
[rootopeneuler-1 ~]# systemctl stop firewalld
[rootopeneuler-1 ~]# setenforce 0
setenforce: SELinux is disabled
[rootopeneuler-1 ~]# for ((i1;i6;i)); do curl 192.168.1.10; done
web test page,ip is 192.168.1.113 .
web test page,ip is 192.168.1.112 .
web test page,ip is 192.168.1.113 .
web test page,ip is 192.168.1.112 .
web test page,ip is 192.168.1.113 .
web test page,ip is 192.168.1.112 .2.1.4自动配置脚本
每次都要手动配置较为麻烦为了方便可以做一个启动脚本
1清除之前的配置
ipvsadm -C #清除配置ipvsadm -Ln #查看nmcli connection delete dummy-dummy1 #删除网络ip a
2LB代理服务器 上的脚本
注意脚本内容需要根据自身ip、网段、端口不同更改相应配置
vim /etc/init.d/lvs_dr
#!/bin/sh
#
# Startup script handle the initialisation of LVS
# chkconfig: - 28 72
# description: Initialise the Linux Virtual Server for DR
#
### BEGIN INIT INFO
# Provides: ipvsadm
# Required-Start: $local_fs $network $named
# Required-Stop: $local_fs $remote_fs $network
# Short-Description: Initialise the Linux Virtual Server
# Description: The Linux Virtual Server is a highly scalable and highly
# available server built on a cluster of real servers, with the load
# balancer running on Linux.
# description: start LVS of DR
LOCK/var/lock/ipvsadm.lock
VIP192.168.95.10
RIP1192.168.95.11
RIP2192.168.95.12
DipNameens33
. /etc/rc.d/init.d/functions
start() {PIDipvsadm -Ln | grep ${VIP} | wc -lif [ $PID -gt 0 ];thenecho The LVS-DR Server is already running !else#Set the Virtual IP Address/sbin/ifconfig ${DipName}:10 $VIP broadcast $VIP netmask
255.255.255.255 up/sbin/route add -host $VIP dev ${DipName}:10#Clear IPVS Table/sbin/ipvsadm -C#Set Lvs/sbin/ipvsadm -At $VIP:80 -s rr/sbin/ipvsadm -at $VIP:80 -r $RIP1:80 -g/sbin/ipvsadm -at $VIP:80 -r $RIP2:80 -g/bin/touch $LOCK#Run Lvsecho starting LVS-DR Server is ok ! fi
}
stop() {#clear Lvs and vip/sbin/ipvsadm -C/sbin/route del -host $VIP dev ${DipName}:10/sbin/ifconfig ${DipName}:10 down /dev/nullrm -rf $LOCKecho stopping LVS-DR server is ok !
}
status() {if [ -e $LOCK ];thenecho The LVS-DR Server is already running !elseecho The LVS-DR Server is not running !fi
}
case $1 instart)start;;stop)stop;;restart)stopstart;;
status)status;;
*)echo Usage: $1 {start|stop|restart|status}exit 1
esac
exit 03RS上的脚本
vim /etc/init.d/rs_dr
#!/bin/sh
#
# Startup script handle the initialisation of LVS
# chkconfig: - 28 72
# description: Initialise the Linux Virtual Server for DR
#
### BEGIN INIT INFO
# Provides: ipvsadm
# Required-Start: $local_fs $network $named
# Required-Stop: $local_fs $remote_fs $network
# Short-Description: Initialise the Linux Virtual Server
# Description: The Linux Virtual Server is a highly scalable and highly
# available server built on a cluster of real servers, with the load
# balancer running on Linux.
# description: start LVS of DR-RIP
LOCK/var/lock/ipvsadm.lock
VIP192.168.95.10
. /etc/rc.d/init.d/functions
start() {PIDifconfig | grep lo:10 | wc -lif [ $PID -ne 0 ];thenecho The LVS-DR-RIP Server is already running !else/sbin/ifconfig lo:10 $VIP netmask 255.255.255.255 broadcast $VIP up/sbin/route add -host $VIP dev lo:10echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/lo/arp_announceecho 1 /proc/sys/net/ipv4/conf/eth0/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/eth0/arp_announceecho 1 /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/all/arp_announce/bin/touch $LOCKecho starting LVS-DR-RIP server is ok !fi
}
stop() {/sbin/route del -host $VIP dev lo:10/sbin/ifconfig lo:10 down /dev/nullecho 0 /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 0 /proc/sys/net/ipv4/conf/lo/arp_announceecho 0 /proc/sys/net/ipv4/conf/eth0/arp_ignoreecho 0 /proc/sys/net/ipv4/conf/eth0/arp_announceecho 0 /proc/sys/net/ipv4/conf/all/arp_ignoreecho 0 /proc/sys/net/ipv4/conf/all/arp_announcerm -rf $LOCKecho stopping LVS-DR-RIP server is ok !
}
status() {if [ -e $LOCK ];thenecho The LVS-DR-RIP Server is already running !elseecho The LVS-DR-RIP Server is not running !fi
}
case $1 instart)start;;stop)stop;;restart)stopstart;;
status)status;;
*)echo Usage: $1 {start|stop|restart|status}exit 1
esac
exit 0
两个脚本都设置开机自启这里以LB服务器的为例
chkonfig --add lvs_drchkconfig lvs_dr onsystemctl start lvs_dr
然后在客户机上测试即可
