做酒店需要怎么上网站,人社网站行风建设的建设和意见,百度空间导出wordpress,有什么网站可以做我的博客大纲 我的后端学习大纲 我的Redis学习大纲 1.cluster#xff08;集群#xff09;模式-docker版 哈希槽分区进行亿级数据存储
1.1.面试题#xff1a;1~2亿条数据需要缓存#xff0c;请问如何设计这个存储案例
1.回答#xff1a;单机单台100%不可能#xff0c;肯… 我的博客大纲 我的后端学习大纲 我的Redis学习大纲 1.cluster集群模式-docker版 哈希槽分区进行亿级数据存储
1.1.面试题1~2亿条数据需要缓存请问如何设计这个存储案例
1.回答单机单台100%不可能肯定是使用Redis对数据进行分布式存储那在这分布式环境中亿级的数据怎么进行存储怎么进行查询redis如何落地,有如下三种解决方案 哈希取余分区一致性哈希算法分区哈希槽分区 2.三种解决方案的介绍
2.1.哈希取余分区:
a.什么是哈希取余 b.优点
1.简单粗暴直接有效只需要预估好数据规划好节点就能保证一段时间内的数据支撑。使用Hash算法可以让固定的一部分请求落在同一台服务器上这样每台服务器就处理一些固定的请求起到负载均衡和分而治之的作用
c.缺点
原来规划好的节点进行扩容或者缩容就比较麻烦了不管扩缩每次数据变动导致节点有变动映射关系需要重新进行计算在服务器个数固定不变时没有问题如果需要弹性扩容或故障停机的情况下原来的取模公式就会发生变化Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化根据公式获取的服务器也会变得不可控。某个redis机器宕机了由于台数数量变化会导致hash取余全部数据重新洗牌。
2.2.一致性哈希算法分区
a.是什么
1.一致性哈希算法在1997年由麻省理工学院中提出的设计目标是为了解决上述分布式缓存数据变动和映射问题某个机器宕机了分母数量改变了自然取余数不OK了。
b.能干嘛
1.提出一致性Hash解决方案。目的是当服务器个数发生变动时尽量减少影响客户端到服务器的映射关系
c.实现步骤
1.步骤1算法构建一致性哈希环 一致性哈希算法必然有个hash函数并按照算法产生hash值这个算法的所有可能哈希值会构成一个全量集这个集合可以成为一个hash空间[0,2^32-1]这个是一个线性空间但是在算法中我们通过适当的逻辑控制将它首尾相连(0 2^32),这样让它逻辑上形成了一个环形空间。它也是按照使用取模的方法前面笔记介绍的节点取模法是对节点服务器的数量进行取模。而一致性Hash算法是对232取模简单来说一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环如假设某哈希函数H的值空间为0-232-1即哈希值是一个32位无符号整形整个哈希环如下图整个空间按顺时针方向组织圆环的正上方的点代表00点右侧的第一个点代表1以此类推2、3、4、……直到232-1也就是说0点左侧的第一个点代表232-1 0和232-1在零点中方向重合我们把这个由232个点组成的圆环称为Hash环。 2.步骤2服务器IP节点映射 将集群中各个IP节点映射到环上的某一个位置。将各个服务器使用Hash进行一个哈希具体可以选择服务器的IP或主机名作为关键字进行哈希这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D经过IP地址的哈希函数计算(hash(ip))使用IP地址哈希后在环空间的位置如下 3.步骤3key落到服务器的落键规则: 当我们需要存储一个kv键值对时首先计算key的hash值hash(key)将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置从此位置沿环顺时针“行走”第一台遇到的服务器就是其应该定位到的服务器并将该键值对存储在该节点上。如我们有Object A、Object B、Object C、Object D四个数据对象经过哈希计算后在环空间上的位置如下根据一致性Hash算法数据A会被定为到Node A上B被定为到Node B上C被定为到Node C上D被定为到Node D上。
d.优点
1.一致性哈希算法的容错性容错性假设Node C宕机可以看到此时对象A、B、D不会受到影响只有C对象被重定位到Node D。一般的在一致性Hash算法中如果一台服务器不可用则受影响的数据仅仅是此服务器到其环空间中前一台服务器即沿着逆时针方向行走遇到的第一台服务器之间数据其它不会受到影响。简单说就是C挂了受到影响的只是B、C之间的数据并且这些数据会转移到D进行存储。2.一致性哈希算法的扩展性 扩展性数据量增加了需要增加一台节点NodeXX的位置在A和B之间那收到影响的也就是A到X之间的数据重新把A到X的数据录入到X上即可不会导致hash取余全部数据重新洗牌。
e.缺点
1.一致性哈希算法的数据倾斜问题 Hash环的数据倾斜问题一致性Hash算法在服务节点太少时容易因为节点分布不均匀而造成数据倾斜被缓存的对象大部分集中缓存在某一台服务器上问题例如系统中只有两台服务器
f.总结
1.为了在节点数目发生改变时尽可能少的迁移数据 将所有的存储节点排列在收尾相接的Hash环上每个key在计算Hash后会顺时针找到临近的存储节点存放。而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。优点加入和删除节点只影响哈希环中顺时针方向的相邻的节点对其他节点无影响缺点 数据的分布和节点的位置有关因为这些节点不是均匀的分布在哈希环上的所以数据在进行存储时达不到均匀分布的效果。 2.3.哈希槽分区常用
a.什么是哈希槽
哈希槽实质就是一个数组数组[0,2^14 -1]形成hash slot空间
b.哈希槽能干什么
哈希槽解决均匀分配的问题在数据和节点之间又加入了一层把这层称为哈希槽slot用于管理数据和节点之间的关系现在就相当于节点上放的是槽槽里放的是数据。 槽解决的是粒度问题相当于把粒度变大了这样便于数据移动。哈希解决的是映射问题使用key的哈希值来计算所在的槽便于数据分配
c.多少个Hash槽
1.一个集群只能有16384个槽编号0-163830-2^14-1。这些槽会分配给集群中的所有主节点分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后接下来就需要对key求哈希值然后对16384取余余数是几key就落入对应的槽里。slot CRC16(key) % 16384。以槽为单位移动数据因为槽的数目是固定的处理起来比较容易这样数据移动问题就解决了。2.哈希槽计算 Redis 集群中内置了 16384 个哈希槽redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在 Redis 集群中放置一个 key-value时redis 先对 key 使用 crc16 算法算出一个结果然后把结果对 16384 求余数这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽也就是映射到某个节点上。如下代码key之A 、B在Node2 key之C落在Node3上 3.搭建Redis的3主3从的redis集群扩缩容配置案例架构
3.1.搭建3主3从集群配置
1.架构图 2.关闭防火墙 启动docker后台服务 3.新建6个Docker实例docker run -d --name redis-node-1 --net host --privilegedtrue -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381 docker run -d --name redis-node-2 --net host --privilegedtrue -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382 docker run -d --name redis-node-3 --net host --privilegedtrue -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383 docker run -d --name redis-node-4 --net host --privilegedtrue -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384 docker run -d --name redis-node-5 --net host --privilegedtrue -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385 docker run -d --name redis-node-6 --net host --privilegedtrue -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 63864.进入容器redis-one并为6台机器构建集群关系: 假设是进入1号机docker exec -it redis-node-1 /bin/bash构建主从关系的命令cluster-replicas 1 表示为每个master创建一个slave节点
//注意进入docker容器后才能执行一下命令且注意自己的真实IP地址
redis-cli --cluster create 192.168.111.147:6381 192.168.111.147:6382 192.168.111.147:6383 192.168.111.147:6384 192.168.111.147:6385 192.168.111.147:6386 --cluster-replicas 1 5.链接进入6381作为切入点查看集群状态 cluster info cluster nodes 3.2.主从容错切换迁移案例
a. 数据读写存储
a1.启动6机构成的集群并通过exec进入
1.进入6381机器 2.存储k-v测试其原因是存储的key不在6381所属槽位但是又不能自动分配到别的redis槽位上其原因是目前是集群环境使用的启动并不正确是单机版的命令应该是改成集群版命令。 3.重启进入redis 4.查看集群信息
b.容错切换迁移 b1.主6381和从机切换先停止主机6381
1.停止6381机器
b2.再次查看集群信息发现6384机器变成了主机 b3.先还原之前的3主3从
先启6381docker start redis-node-1再停6385docker stop redis-node-5再启6385docker start redis-node-5
b4.查看集群状态 3.3.主从扩容案例 3主3从变成4主4从 a.新建6387、6388两个节点新建后启动查看是否8节点
docker run -d --name redis-node-7 --net host --privilegedtrue -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387docker run -d --name redis-node-8 --net host --privilegedtrue -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388docker b.进入6387容器实例内部
1.docker exec -it redis-node-7 /bin/bash
a.将新增的6387节点(空槽号)作为master节点加入原集群
1.将新增的6387作为master节点加入集群:redis-cli --cluster add-node自己实际IP地址:6387 自己实际IP地址:6381 6387 就是将要作为master新增节点6381 就是原来集群节点里面的领路人相当于6387拜拜6381的码头从而找到组织加入集群 c.检查集群情况第1次: d.重新分派槽号: e.检查集群情况第2次
1.检查命令 2.发现是每个节点分给第四台主机上重新分配成本太高所以前3家各自匀出来一部分从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387
f.为主节点6387分配从节点6388 g.检查集群情况第3次: 3.4.主从缩容案例
a.目的6387和6388下线 b.检查集群情况获得6388的节点ID c.从集群中将4号从节点6388删除 d.将6387的槽号清空重新分配本例是将清出来的槽号都给6381 e.检查集群情况第二次: f.将6387删除: g.检查集群情况第三次:
