上海大型网站制作semen是什么意思

• recoverClose的目的
• recoverClose的过程
• recoverClose的调用点

一、前言

HDFS客户端写文件时，如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除，然后进行pipiline recovery，用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前，要把已经写了的副本用一个newGS去给finalized掉，并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock（这取决于packet是否是block的最后一个packet）。如果发生错误时传输的packet不是block的最后一个packet，那么就把stage置为BlockConstructionStage.DATA_STREAMING，然后继续用剩余的datanodes写，注意这里已经做了pipeline recovery，执行过了updatePipeline，因此写的副本的GS是newGS。

这么做的原因是：把已经写入的部分给成功落盘并添加副本集合里，防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时，DataNode侧的DataXceiver#writeBlock方法里，会调用notifyNamenodeReceivedBlock，向namenode进行此block的IBR汇报。

二、recoverClose的逻辑

目标：用于恢复一个failed pipeline的close。
此方法会增加repli