嘉兴电子商务网站建设,wordpress页内跳转链接,谷歌网站统计,网络营销课程速成班面试题来源#xff1a;
《大数据面试题 V4.0》
大数据面试题V3.0#xff0c;523道题#xff0c;679页#xff0c;46w字
可回答#xff1a;1#xff09;HBase一个节点宕机了怎么办#xff1b;2#xff09;HBase故障恢复
参考答案#xff1a;
1、HBase常见故障
导…面试题来源
《大数据面试题 V4.0》
大数据面试题V3.0523道题679页46w字
可回答1HBase一个节点宕机了怎么办2HBase故障恢复
参考答案
1、HBase常见故障
导致RegionServer故障的原因 FullGc引起长时间停顿 HBase对Jvm堆内存管理不善未合理使用堆外内存 Jvm启动参数配置不合理 业务写入或吞吐量太大 写入读取字段太大 HDFS异常 读取写入数据都是直接操作hdfs的若hdfs发生异常会导致region server直接宕机 机器宕机 物理节点直接宕机 虚拟云主机不稳定包括网络环境等
2、HBase常见故障恢复
Master故障恢复原理
在HBase体系结构中Master主要负责实现集群的负载均衡和读写调度并没有直接参与用户的请求所以整体负载并不很高。
HBase采用基本的热备方式来实现Master高可用。通常情况下要求集群中至少启动两个Master进程进程启动之后会到ZooKeeper上的Master节点进行注册注册成功后会成为ActiveMaster其他在Master节点未注册成功的进程会到另一个节点Backup-Masters节点进行注册并持续关注Active Master的情况一旦Active Master发生宕机这些Backup-Masters就会立刻得到通知它们再次竞争注册Master节点注册成功就可成为Active Master。
一方面Active Master会接管整个系统的元数据管理任务包括管理ZooKeeper以及meta表中的元数据并根据元数据决定集群是否需要执行负载均衡操作等。另一方面Active Master会响应用户的各种管理命令包括创建、删除、修改表move、merge region等命令。
RegionServer故障恢复原理
Master如何检测RegionServer宕机 HBase检测宕机是通过Zookeeper实现的 正常情况下RegionServer会周期性向Zookeeper发送心跳一旦发生宕机心跳就会停止超过一定时间SessionTimeoutZookeeper就会认为RegionServer宕机离线并将该消息通知给Master。
一旦RegionServer发生宕机HBase会马上检测到这种宕机并且在检测到宕机之后将宕机RegionServer上的所有Region重新分配到集群中其他正常的RegionServer上再根据HLog进行丢失数据恢复恢复完成之后就可以对外提供服务。整个过程都是自动完成的并不需要人工介入。
基本原理如下图所示 1Master检测到RegionServer宕机。HBase检测宕机是通过ZooKeeper实现的正常情况下RegionServer会周期性向ZooKeeper发送心跳一旦发生宕机心跳就会停止超过一定时间SessionTimeoutZooKeeper就会认为RegionServer宕机离线并将该消息通知给Master。
2切分未持久化数据的HLog日志。RegionServer宕机之后已经写入MemStore但还没有持久化到文件的这部分数据必然会丢失HBase提供了WAL机制来保证数据的可靠性可以使用HLog进行恢复补救。HLog中所有Region的数据都混合存储在同一个文件中为了使这些数据能够按照Region进行组织回放需要将HLog日志进行切分再合并同一个Region的数据最终合并在一起方便后续按照Region进行数据恢复。
3Master重新分配宕机RegionServer上的Region。RegionServer宕机之后该RegionServer上的Region实际上处于不可用状态所有路由到这些Region上的请求都会返回异常。但这种情况是短暂的因为Master会将这些不可用的Region重新分配到其他RegionServer上但此时这些Region还并没有上线因为之前存储在MemStore中还没有落盘的数据需要回放。
4回放HLog日志补救数据。第3步中宕机RegionServer上的Region会被分配到其他RegionServer上此时需要等待数据回放。第2步中提到HLog已经按照Region将日志数据进行了切分再合并针对指定的Region将对应的HLog数据进行回放就可以完成丢失数据的补救工作。
5恢复完成对外提供服务。数据补救完成之后可以对外提供读写服务。
HBase故障恢复流程总结如下 故障检测 数据切分 region上线 数据回放
