hadoop学习笔记（9）-Number of Under-Replicated Blocks问题

最新推荐文章于 2024-09-10 13:59:08 发布

最新推荐文章于 2024-09-10 13:59:08 发布 · 1k 阅读

文章标签：

#大数据

本文介绍了解决MapReduce中出现Under-Replicated Blocks的方法，通过删除导致问题的文件来修复，并探讨了可能导致该问题的原因，包括旧版本Hadoop中的append操作存在的bug。

部署运行你感兴趣的模型镜像

跑了一个mapreduce发现集群上出现了7个Under-Replicated Blocks，在web页面上能看到，在主节点上执行：

$ bin/hadoop fsck -blocks

也能看到。

删除导致问题的文件之后就好了。

这个问题好像没导致什么大毛病。查了资料：

http://lucene.472066.n3.nabble.com/Number-of-Under-Replicated-Blocks-td3759915.html

据说0.20.之前的版本的append操作也是有bug的，会导致这个问题:

http://stackoverflow.com/questions/7997587/under-replicated-blocks-count-is-inaccurate-buy-why

您可能感兴趣的与本文相关的镜像

Langchain-Chatchat

AI应用

Langchain

Langchain-Chatchat 是一个基于 ChatGLM 等大语言模型和 Langchain 应用框架实现的开源项目，旨在构建一个可以离线部署的本地知识库问答系统。它通过检索增强生成 (RAG) 的方法，让用户能够以自然语言与本地文件、数据库或搜索引擎进行交互，并支持多种大模型和向量数据库的集成，以及提供 WebUI 和 API 服务