hdfs dfsadmin -rollingUpgrade解读

最新推荐文章于 2022-04-12 11:11:22 发布

谷雨hadoop

最新推荐文章于 2022-04-12 11:11:22 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/linux_ja/article/details/51911599

hadoop 专栏收录该内容

19 篇文章

订阅专栏

本文深入探讨HDFS中namenode的滚动升级过程，包括关键步骤rollingUpgradePrepare与rollingUpgradeFinalize的具体实现。详细解释了checkpoint签名生成、transaction ID记录及版本文件更新等重要环节的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hdfs dfsadmin -rollingUpgrade prepare 源码中是

CheckpointSignature rollEditLog() throws IOException {
getEditLog().rollEditLog();
// Record this log segment ID in all of the storage directories, so
// we won't miss this log segment on a restart if the edits directories
// go missing.
storage.writeTransactionIdFileToStorage(getEditLog().getCurSegmentTxId());
return new CheckpointSignature(this);

void writeTransactionIdFile(StorageDirectory sd, long txid) throws IOException {
Preconditions.checkArgument(txid >= 0, "bad txid: " + txid);

File txIdFile = getStorageFile(sd, NameNodeFile.SEEN_TXID);
PersistentLongFile.writeFile(txIdFile, txid);

}

SEEN_TXID ("seen_txid"),

$dfs.namenode.name.dir/current/seen_txid非常重要，是存放transactionId的文件，format之后是0，它代表的是namenode里面的edits_*文件的尾数，namenode重启的时候，会按照seen_txid的数字，循序从头跑edits_0000001~到seen_txid的数字。所以当你的hdfs发生异常重启的时候，一定要比对seen_txid内的数字是不是你edits最后的尾数，不然会发生建置namenode时metaData的资料有缺少，导致误删Datanode上多余Block的资讯

hdfs dfsadmin -rollingUpgrade finalize，源码是

getFSImage().updateStorageVersion();
getFSImage().renameCheckpoint(NameNodeFile.IMAGE_ROLLBACK,
NameNodeFile.IMAGE);

protected static final String STORAGE_FILE_VERSION = "VERSION";

namenode下的VERISON文件

public File getVersionFile() {
return new File(new File(root, STORAGE_DIR_CURRENT), STORAGE_FILE_VERSION);
}

public void writeProperties(StorageDirectory sd) throws IOException {
writeProperties(sd.getVersionFile(), sd);
}

public void writeProperties(File to, StorageDirectory sd) throws IOException {
Properties props = new Properties();
setPropertiesFromFields(props, sd);
writeProperties(to, sd, props);
}

public static void writeProperties(File to, StorageDirectory sd,
Properties props) throws IOException {
RandomAccessFile file = new RandomAccessFile(to, "rws");

内容写到VERSION文件中

file.setLength(out.getChannel().position());