hadoop服务器磁盘损坏的处理办法

iteye_20817

于 2012-01-04 20:27:26 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/iteye_20817/article/details/82241810

91 篇文章

订阅专栏

本文详细介绍了Hadoop设备经常遇到的磁盘只读或损坏问题及其对datanode和tasktracker的影响，并提供了设置系统容忍损坏磁盘数的方法以确保datanode正常运行。对于tasktracker的问题处理，文章提出了创建新目录并挂载损坏磁盘作为退而求其次的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop设备经常会发生磁盘只读或者损坏的情况，出现这样的问题，datanode和tasktracker会无法启动。解决办法如下：

让datanode正常运行，需要设置系统可以容忍的损坏磁盘数，默认为0：

  <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>3</value>
  </property>

让TT(tasktracker)正常运行，这个我没有找到更好的办法， TT会写文件到"mapred.local.dir"中目录，hadoop没有提供相关的解决办法，退一步的处理办法mkdir，然后把损坏的目录盘挂到创建的DIR下。

-- heipark