建设银行信用卡积分兑换话费网站,wordpress 主题 minty,wordpress 关键词 描述 插件,具有品牌的广州做网站一、负载均衡
1.1 简述负载均衡 在高并发的业务场景下#xff0c;解决单个节点压力过大#xff0c;导致Web服务响应过慢#xff0c;特别是严重的情况下导致服务瘫痪#xff0c;无法正常提供服务的问题#xff0c;而负载均衡的目的就是为了维护系统稳定可靠。负载均衡解决单个节点压力过大导致Web服务响应过慢特别是严重的情况下导致服务瘫痪无法正常提供服务的问题而负载均衡的目的就是为了维护系统稳定可靠。负载均衡英文名称为Load Balance其含义就是指将负载工作任务进行平衡、分摊到多个操作单元上进行运行例如FTP服务器、Web服务器、企业核心应用服务器和其它主要任务服务器等从而协同完成工作任务。负载均衡建立在现有网络结构之上它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
1.2 负载均衡的好处 1.对web服务器进行动态的水平扩展使用户无感知 2.增加业务并发访问及处理能力解决服务器瓶颈问题 3.节约公网IP地址降低IT支出成本 4.隐藏内部服务器IP提高内部服务器安全性 5.配置简单固定格式的配置文件 6.功能简单支持四层和七层支持动态下线主机 7.性能较强并发数万甚至数十万 1.3负载均衡类型
1.3.1 硬件负载均衡 硬件负载均衡解决方案是直接在服务器和外部网络间安装负载均衡设备这种设备通常是一个独立于系统的硬件我们称之为负载均衡器。由于专门的设备完成专门的任务独立于操作系统整体性能得到大量提高加上多样化的负载均衡策略智能化的流量管理可达到最佳的负载均衡需求。负载均衡器使用方便但价格较贵是将一些开源软件集成到硬件设备里。例如F5,Netscaler,Array,AD-1000。
1.3.2 四层负载均衡 四层负载均衡通过IP加port决定负载均衡的去向对流量请求进行NAT处理转发至后台服务器记录TCP、UDP流量分别是由哪台后台管理器处理后续该请求连接的流量都通过该服务器处理 支持四层的软件lvs、nginx、haproxy 1.3.3 七层负载均衡 通过虚拟url或主机IP进行流量识别根据应用层信息进行解析决定是否需要进行负载均衡代理后台服务器与客户端建立连接如nginx可代理前后端与前段客户端tcp连接与后端服务器建立tcp连接 支持七层代理的软件nignxhaproxy
1.3.4软、硬件负载均衡的对比 软件负载均衡 优点需求环境明确配置简单操作灵活成本低廉效率不高能满足普通的企业需求 缺点依赖于系统增加资源开销软件的优劣决定环境的性能系统的安全软件的稳定性均会影响到整个环境的安全。 硬件负载均衡 优点独立于系统整体性能大量提升在功能、性能上优于软件方式智能的流量管理多种策略可选能达到最佳的负载均衡效果 缺点价格昂贵F5硬件服务器不低于20万/台。 1.3.5 四层与七层的对比
区别四层负载均衡七层负载均衡分层位置传输层以下应用层以下性能无需解析报文信息网络吞吐量和处理能力较高支持解析应用层报文信息识别URL、cookie、http header等信息原理基于ipport基于URL或主机IP等功能类比类似于路由器类似于代理服务器安全性无法识别DDos攻击可防御SYN Cookie/Flood攻击 拓展 二层负载均衡mac地址数据链路层使用虚拟MAC地址方式外部请求流量经过虚拟MAC地址负载均衡收到流量请求后分配后端实际的MAC地址进行响应。 三层负载均衡ip地址网络层使用虚拟ip地址方式外部请求流量经过虚拟IP地址负载均衡收到流量请求后分配后端实际的IP地址进行响应。 四层负载均衡tcp、udp传输层使用IPPORT接收外部流量请求转发到对应的机器上。 七层负载均衡http应用层使用虚拟的URL或IP地址接收外部流量请求转发到对应的处理服务器。 二、Haproxy
2.1 Haproxy简述 Haproxy是一个使用C语言编写的开源代码其提供高可用性、负载均衡以及基于tcp和http的应用程序代理。适用于负载很大的web站点这些站点通常需要会话保持或七层处理。Haproxy运行在当前的硬件上完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全地整合进用户当前的架构中 同时可以保护用户的web服务器不被暴露到网络上。Haproxy实现了一种事件驱动, 单一进程模型此模型支持非常大的并发连接数。
2.2 配置参数
2.2.1 global配置 进程及安全配置相关的参数性能调整相关参数Debug参数
参数类型作用chroot全局锁定运行目录deamon全局以守护进程运行usergroupuidgid全局运行haproxy的用户身份stats socket全局套接字文件nbproc N 全局开启的进程数默认为一个bnthread N全局开启的线程数默认为一个与进程互斥cpu-map 1 0全局绑定haproxyworker进程至指定CPU 将第一个work进程绑定至0号CPUmaxconn N 全局每个haproxy进程的最大并发连接数maxsslconn N全局每个haproxy进程ssl最大连接数,用于haproxy配置了证书的 场景下maxconnrate N全局每个进程每秒创建的最大连接数量spread-checks N 全局后端server状态check随机提前或延迟百分比时间建议2- 5(20%-50%)之间默认值0pidfile全局指定pid文件路径log 127.0.0.1 local2 info全局定义全局的syslog服务器日志服务器需要开启UDP协议 最多可以定义两个
2.2.2代理配置 defaults为frontend, backend, listen提供默认配置 frontend前端相当于nginx中的server {} backend后端相当于nginx中的upstream {} listen同时拥有前端和后端配置,配置简单,生产推荐使用 2.2.3 server配置 check #对指定real进行健康状态检查如果不加此设置默认不开启检查,只有check后面没 有其它配置也可以启用检查功能 #默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定 端口才能实现健康性检查 addr #可指定的健康状态监测IP可以是专门的数据网段减少业务网络的流量 port #指定的健康状态监测端口 inter #健康状态检查间隔时间默认2000 ms fall #后端服务器从线上转为线下的检查的连续失效次数默认为3 rise #后端服务器从下线恢复上线的检查的连续有效次数默认为2 weight #默认为1最大值为2560(状态为蓝色)表示不参与负载均衡但仍接受持久连接 backup #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务类似Sorry Server disabled #将后端服务器标记为不可用状态即维护状态除了持久模式 #将不再接受连接,状态为深黄色,优雅下线,不再接受新用户的请求 redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL只适用于http模 式 maxconn #当前后端server的最大并发连接数 2.3 实验环境
主机名IP角色haproxy172.25.254.100调度器server1172.25.254.10web服务器1server2172.25.254.20web服务器2
注意防火墙和Selinux都需要关闭
2.2.1网络配置
haproxy server1 server2 nmcli connection reload
nmcli connection up eth0
2.2.2 下载安装包
#haproxy
dnf install haproxy
dnf install socat #可调整服务器动态权重和其它状态#server1、server2
dnf install nginx
echo webserver1 -172.25.254.10 /usr/share/nginx/html/index.html #server1的访问页面
echo webserver2 -172.25.254.20 /usr/share/nginx/html/index.html #server2的访问页面
systemctl enable --now nginx
curl 172.25.254.10
curl 172.25.254.20 #测试web服务是否正常运行
rpm -qc haproxy #查询配置文件
vim /etc/haproxy/haproxy.cfg #修改配置文件
systemctl start haproxy.service #重启服务
cat /var/log/messages #查看错误日志
对配置文件进行修改并测试 利用sacat工具对服务器进行调整 echo help |socat stdio /var/lib/haproxy/stats #查看帮助
echo show info |socat stdio /var/lib/haproxy/stats #查看haproxy状态
echo show server stats |socat stdio /var/lib/haproxy/stats #查看服务器状态
echo get weight webcluster/web1 | socat stdio /var/lib/haproxy/stats#查看集群中server1的权重
echo set weight webcluster/web1 1 | socat stdio /var/lib/haproxy/stats#修改集群权重
echo disable server webcluster/web1 | socat stdio /var/lib/haproxy/stats
echo enable server webcluster/web1 | socat stdio /var/lib/haproxy/stats三、haproxy的算法 HAProxy通过固定参数 balance 指明对后端服务器的调度算法 balance参数可以配置在listen或backend选项中。 HAProxy的调度算法分为静态和动态调度算法 有些算法可以根据参数在静态和动态算法中相互转换。 3.1 静态算法 静态算法按照事先定义好的规则轮询公平调度不关心后端服务器的当前负载、连接数和响应速度 等且无法实时修改权重(只能为0和1,不支持其它值)只能靠重启HAProxy生效。
3.1.1static-rr基于权重的轮询调度 不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值) 不支持端服务器慢启动 其后端主机数量没有限制相当于LVS中的 wrr 3.1.2 first 根据服务器在列表中的位置自上而下进行调度 其只会当第一台服务器的连接数达到上限新请求才会分配给下一台服务 其会忽略服务器的权重设置 不支持用socat进行动态修改权重,可以设置0和1,可以设置其它值但无效 3.2 动态算法 基于后端服务器状态进行调度适当调整 新请求将优先调度至当前负载较低的服务器 权重可以在haproxy运行时动态调整无需重启
3.2.1 roundrobin 1. 基于权重的轮询动态调度算法 2. 支持权重的运行时调整不同于lvs中的rr轮训模式 3. HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数) 4. 其每个后端backend中最多支持4095个real server 5. 支持对real server权重动态调整 6. roundrobin为默认调度算法,此算法使用广泛 3.2.2 leastconn eastconn加权的最少连接的动态 支持权重的运行时调整和慢启动即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户 端连接) 比较适合长连接的场景使用比如MySQL等场景 3.3 其他算法 其它算法即可作为静态算法又可以通过选项成为动态算法
3.3.1 source 源地址hash基于用户源地址hash并将请求转发到后端服务器后续同一个源地址请求将被转发至同一 个后端web服务器。此方式当后端服务器数据量发生变化时会导致很多用户的请求转发至新的后端服 务器默认为静态方式但是可以通过hash-type支持的选项更改这个算法一般是在不插入Cookie的TCP 模式下使用也可给拒绝会话cookie的客户提供最好的会话粘性适用于session会话保持但不支持 cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式分别是取模法和一致性hash 3.3.1.1 map-base取模法 map-based取模法对source地址进行hash计算再基于服务器总权重的取模最终结果决定将此请 求转发至对应的后端服务器。 此方法是静态的即不支持在线调整权重不支持慢启动可实现对后端服务器均衡调度 缺点是当服务器的总权重发生变化时即有服务器上线或下线都会因总权重发生变化而导致调度结果 整体改变 hash-type 指定的默值为此算法 map-based算法基于权重取模hash(source_ip)%所有后端服务器相加的总权重 3.3.1.2 一致性hash 一致性哈希当服务器的总权重发生变化时对调度结果影响是局部的不会引起大的变动hashomod n 该hash算法是动态的支持使用 socat等工具进行在线权重调整支持慢启动 算法 1、后端服务器哈希环点keyAhash(后端服务器虚拟ip)%(2^32) 2、客户机哈希环点key1hash(client_ip)%(2^32) 得到的值在[0---4294967295]之间 3、将keyA和key1都放在hash环上将用户请求调度到离key1最近的keyA对应的后端服务器 3.3.2 uri 基于对用户请求的URI的左半部分或整个uri做hash再将hash结果对总权重进行取模后根据最终结果将请求转发到后端指定服务器适用于后端是缓存服务器场景默认是静态算法也可以通过hash-type指定map-based和consistent来定义使用取模法还是一致性hash 此算法基于应用层所以只支持 mode http 不支持 mode tcp 3.3.3 url_param url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算并由服务器 总权重相除以后派发至某挑出的服务器,后端搜索同一个数据会被调度到同一个服务器多用与电商 通常用于追踪用户以确保来自同一个用户的请求始终发往同一个real server 如果无没key将按roundrobin算法 3.3.4 hdr 针对用户每个http头部(header)请求中的指定信息做hash 此处由 name 指定的http首部将会被取出并做hash计算 然后由服务器总权重取模以后派发至某挑出的服务器如果无有效值则会使用默认的轮询调度 3.4 算法总结
算法状态使用协议使用场景static-rr静态tcp/http做了session共享的web集群first静态tcp/http使用较少roundrobin动态tcp/httpleastconn动态tcp/http数据库source其他tcp/httpuri其他http缓存服务器CDN服务商蓝汛、百度、阿里云、腾讯url_param其他http可以实现session保持hdr其他http基于客户端请求报文头部做下一步处理 其他算法的静态和动态取决于hash_type是否consistent
四、高级功能配置
4.1 状态页
4.1.1状态页配置项 stats enable #基于默认的参数启用stats page stats hide-version #将状态页中haproxy版本隐藏 stats refresh delay #设定自动刷新时间间隔默认不自动刷新 stats uri prefix #自定义stats page uri默认值/haproxy?stats stats auth user:passwd #认证时的账号和密码可定义多个用户,每行指定一个用户 #默认no authentication stats admin { if | unless } #启用stats page中的管理功能 4.1.2 登录状态页 #pid为当前pid号process为当前进程号nbproc和nbthread为一共多少进程和每个进程多少个线程 pid 27134 (process #1, nbproc 1, nbthread 1) #启动了多长时间 uptime 0d 0h00m04s #系统资源限制内存/最大打开文件数 system limits: memmax unlimited; ulimit-n 200029 #最大socket连接数/单进程最大连接数/最大管道数 maxpipes maxsock 200029; maxconn 100000; maxpipes 0 #当前连接数/当前管道数/当前连接速率 current conns 2; current pipes 0/0; conn rate 2/sec; bit rate 0.000 kbps #### #运行的任务/当前空闲率 Running tasks: 1/14; idle 100 % active UP #在线服务器 backup UP #标记为backup的服务器 active UP, going down #监测未通过正在进入down过程 backup UP, going down #备份服务器正在进入down过程 active DOWN, going up #down的服务器正在进入up过程 backup DOWN, going up #备份服务器正在进入up过程 active or backup DOWN #在线的服务器或者是backup的服务器已经转换成了down状态 not checked #标记为不监测的服务器 #active或者backup服务器人为下线的 active or backup DOWN for maintenance (MAINT) #active或者backup被人为软下线(人为将weight改成0) active or backup SOFT STOPPED for maintenance 4.1.3 backend server信息 session rate(每秒的连接会话信息): Errors(错误统计信息) cur:每秒的当前会话数量 : Req:错误请求量 max:每秒新的最大会话数量 conn:错误链接量 limit:每秒新的会话限制量 Resp:错误响应量 sessions(会话信息): Warnings(警告统计信息) cur:当前会话量 Retr:重新尝试次数 max:最大会话量 Redis:再次发送次数 limit: 限制会话量 Total:总共会话量 Server(real server信息) LBTot:选中一台服务器所用的总时间 Status:后端机的状态包括UP和DOWN Last和服务器的持续连接时间 LastChk:持续检查后端服务器的时间 Wght:权重 Bytes(流量统计) Act:活动链接数量 In:网络的字节输入总量 Bck:备份的服务器数量 Out:网络的字节输出总量 Chk:心跳检测时间 Dwn:后端服务器连接后都是DOWN的数量 Denied(拒绝统计信息) Dwntme:总的downtime时间 Req:拒绝请求量 Thrtle:server 状态 Resp:拒绝回复量 4.2 保持cookie会话 4.3 IP透传
apache和四层负载默认没有透传需要设定。apache四层没有透传
apache七层
vim /etc/httpd/conf/httpd.conf #修改配置文件如下图
cat /etc/httpd/logs/access_log #查看日志nginx 四层
vim /etc/nginx/nginx.cfg 透传测试 4.4 ACL访问控制列表
ACL是一种基于包过滤的访问控制技术 它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过 滤基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内 容进行匹配并执行进一步操作比如允许其通过或丢弃。
4.4.1 ACL配置选项
aclaclnamecriterionflagsoperatorvalueacl名称匹配规范匹配模式具体操作符操作对象类型 ACL名称可以使用大字母A-Z、小写字母a-z、数字0-9、冒号、点.、中横线和下划线并且严格区分大小写 4.4.1.1 匹配规范 4.4.1.2 匹配模式 -i 不区分大小写 -m 使用指定的正则表达式匹配方法 -n 不做DNS解析 -u 禁止acl重名否则多个同名ACL匹配或关系 4.4.1.3 具体操作符 - exact match (-m str) :字符串必须完全匹配模式 - substring match (-m sub) :在提取的字符串中查找模式如果其中任何一个被发现ACL将匹配 - prefix match (-m beg) :在提取的字符串首部中查找模式如果其中任何一个被发现ACL将匹配 - suffix match (-m end) :将模式与提取字符串的尾部进行比较如果其中任何一个匹配则ACL进行匹配 - subdir match (-m dir) :查看提取出来的用斜线分隔“/的字符串如其中任一个匹配则ACL进行匹配 - domain match (-m dom) :查找提取的用点“.分隔字符串如果其中任何一个匹配则ACL进行匹配 4.4.1.4 ACL-value操作对象 #value类型 - Boolean #布尔值 - integer or integer range #整数或整数范围比如用于匹配端口范围 - IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24 - string-- www.timinglee.org exact #精确比较 substring #子串 suffix #后缀比较 prefix #前缀比较 subdir #路径 /wp-includes/js/jquery/jquery.js domain #域名www.timinglee.org - regular expression #正则表达式 - hex block #16进制 4.4.2 多个ACL组合调用方式 与隐式默认使用 或使用“or 或 “||表示 否定使用 ! 表示 4.5 自定义错误页面
mkdir /etc/haproxy/errorpage
touch /etc/haproxy/errorpage/503.http
cat /usr/share/haproxy/503.http #查看503错误页并复制内容
vim /etc/haproxy/errorpage/503.http #将503错误页复制
vim /etc/haproxy/haproxy.cfg
systemctl restart haproxy.service 4.6 haproxy四层负载
#server1和server2上的配置
dnf instll mariadb-server -y
vim /etc/my.cnf.d/mariadb-server.cnf
systemctl start mariadb
netstat -atnlup | grep 3306 #查看端口haproxy配置
dnf instll mariadb -y 4.7 安全证书
mkdir -p /etc/haproxy/certsopenssl req -newkey rsa:2048 -nodes -sha256 -keyout /etc/haproxy/certs/timinglee.org.key -x509 -days 365 -out/etc/haproxy/certs/timinglee.org.crtcat /etc/haproxy/certs/timinglee.org.key /etc/haproxy/certs/timinglee.org.crt /etc/haproxy/certs/timinglee.org.pemcat /etc/haproxy/certs/timinglee.org.pem
