hadoop配置中遇到的问题

最新推荐文章于 2021-06-21 22:32:07 发布
原创 最新推荐文章于 2021-06-21 22:32:07 发布 · 616 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #hbase

本文介绍了Hadoop集群启动时可能出现的NameNode和DataNode进程缺失问题及其解决方法，并提供了配置SSH无密码登录及HBase的基本配置指导。

namenode 进程没有出现   解决方法:先使用hadoop namenode -format 然后进入hadoop根目录下的bin目录执行stop-all.sh,然后执行start-all.sh


如果配置成功，启动start-all.sh可以启动六个进程分别是

jps

NameNode

DataName

SecondaryNameNode

Jobtracker

TaskTracker

但是有时候配置出现不能显示NameNode进程，主要原因如下

1.core-site.xml配置文件下的fs.default.name的value要配置为hdfs://你的ip:9000/(注意不要忘了hdfs)

2.hdfs-site.xml 配置文件下的dfs.name.dir所配置的存放name的目录一定要存在 

3.hadoop根文件夹的目录的权限一定要设置为777

也有DataNode进程不能显示的时候

1.hdfs-site配置文件下的dfs.data.dir所配置的存放目录一定要存在

2.dfs.data.dir所存放的目录权限要设置为755

如果上面的方案都没有解决，可以在hadoop根文件目录下的logs目录下查看对应的log结尾的日志文件


配置ssh无密码连接但是还是需要输入密码的问题

在普通user下面配置了无密码之后但是连接还是需要密码，配置的时候将用户设置为root用户即可解决问题


hbase配置

和常规的解压相同，解压到指定目录，然后配置hbase根目录和根目录下的bin到环境变量

修改conf/hbase-env.sh ,将里面的java环境变量路径修改

添加conf/hbase-site.xml里面添加hbase在hdfs上的存储路径hbase.rootdir


Hadoop 常见问题总结
沉底的石头
06-11 9711
http://cloud.riaos.com/?p=8001390 http://shirley-ren.iteye.com/blog/1174622 出现问题以后先查看日志，以下是常见的错误情况 1 地址占用 org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use
eclipse+hadoop 配置过程中遇到的问题
q12344567789的博客
03-24 240
1) 首先说下各个工具版本 windows：win7 32位 eclipse： 我用的是String tool Suite3.7.1 hadoop ： 2.6.0 虚拟机及linux版本：vmware 和 ubuntu 14.0 2) 搭建过程就不详细说了，，也是找了好多教程。下面附可能有帮助的地址 http://bbs.csdn.net/topics/390684266&...
配置hadoop过程中的一些问题
slow295185031的专栏
01-22 505
花了好几天的时间，终于把hadoop的环境配置好了，其中遇到不少问题，在这里整理一下。（单击模式+伪分布模式） 一、关于hadoop版本问题 首先是hadoop版本问题，一进入hadoop官网下载我就蒙了，这么多版本，1.0.X，0.23.XX等等，完全搞不懂是什么意思。然后看一下官方的说明： apache hadoop官方给出的版本说明是: 1.0.X - current stable
hadoop安装配置中的一些问题
先云的博客
04-17 535
1.安装配置java时 程序 ‘java’ 已包含在下列软件包中： * default-jre * gcj-4.8-jre-headless * gcj-4.9-jre-headless * openjdk-7-jre-headless * openjdk-6-jre-headless * openjdk-8-jre-headless 请尝试：apt-get instal
Hadoop YARN常见问题以及解决方案
我爱大海V5的专栏
02-10 1864
本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。 （1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？ 答： 默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，优先发送心跳过来的节点将会把任务领光
hadoop配置
04-06
【描述】：虽然描述信息为“NULL”，但从提供的博文链接可以推测，该资源可能涵盖了作者在实践Hadoop过程中的一些经验分享，包括但不限于环境搭建、优化技巧以及可能遇到的问题和解决方案。博文...
hadoop中文乱码问题
08-09
可以修改Hadoop配置文件（如`core-site.xml`），设置`hadoop.log.encoding`为GBK，同时确保终端支持GBK编码。 5. **工具使用**： 使用Hadoop相关的工具，如Hadoop命令行、Hive、Pig等，也需要注意编码设置。例如，...
hadoop配置文件夹
05-15
总之，Hadoop和PySpark的配置文件是大数据处理中不可或缺的部分，正确理解和配置这些文件可以有效地优化数据处理性能，并确保程序的稳定运行。对于初学者来说，熟练掌握这些配置技巧是成为专业大数据工程师的基础。
hadoop集群遇到的问题及其解决方法
02-29
1. **主机名解析问题：** 主要是由于/etc/hosts文件中的配置不正确或存在冲突导致的，特别是当配置中有`127.0.1.1`等指向本地主机的条目时。 2. **临时文件路径配置不当：** 如果Hadoop默认使用的临时文件路径（通常...
hadoop安装过程中的问题
09-15
5、/etc/profile的java和Hadoop配置路径 6.hadoop namenode format 7./hadoop/etc/slaves这个文件里必须把所有的slaves的主机名写进去。 8.mast的/etc/hosts slave1的/etc/hosts slave2 的/etc/hosts （localhost：...
Hadoop问题
JJ7778的博客
06-21 755
Hadoop中常见的错误 1。 Hadoop：未找到命令解决办法。 当我们输入Hadoop命令时可能会出现Hadoop：未找到命令的报错，这说明我们不能在这个目录下使用Hadoop命令。这时候我们有两种解决问题的方法。 方法一： ①export PATH=$PATH: /usr/local/hadoop/bin ②hadoop version 这样比较快捷方便，但是这个方法只适用于当前终端，也就是说，当你把当先正在使用的终端关闭后，再打开输入hadoop命令，依旧会报错，输出Hadoop：未找到命令。 方法
hadoop的问题
Kid_U_ForFun的专栏
04-24 771
一、就是jdk的安装问题;         linux的jdk一般是自带的openjdk，这个openjdk其实也可以用；但是可能会出现
Hadoop安装与配置过程中的问题
wokwn的博客
10-16 403
安装过程主要参考参考https://blog.csdn.net/hliq5399/article/details/78193113及一些其他资料，感谢。   1.Linux安装 2.Jdk安装，配置环境变量 添加环境变量有2种方法： //1,使用export命令 export PATH=$PATH:/opt/software/node-v8.9.3-linux-x64/bin/node...
【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？
wyz0516071128的博客
06-10 679
（1） 浏览器问题 当你配置都完成了，你输入主机名+端口号去访问时，不能访问，但是你得确定前面的配置的哪些步骤都没有错，这可能是你浏览器的问题，我推荐用Chrome或者火狐，这两个基本上是可以的。（2） 域名问题 当你输入IP地址+端口号能访问时，这时你就得看看你的Windows上的映射是否配置成功，可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:...
hadoop配置及测试中错误归纳
蚂蚁先锋队的博客
06-02 498
1、util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 环境变量配置出错 .bashrc末尾添加 export JAVA_HOME=/home/will/jdk/jdk1.8 export HA
hadoop 常见问题
zzd007的博客
06-03 612
hadoop安装时遇到了好多问题，现在闲着无事，回过头来总结一波，现在用的是伪分布式（分布式安装好了，发现电脑同时运行三个虚拟机很伤，伪分布已足够学习用，所以果断卸载），发现当你遇见问题时，还是问度娘来的快，等你解决后，学习一段时间，回头看看这些问题，可能明白了许多! hadoop安装主要是以下几大步骤： 教程：http://dblab.xmu.edu.cn/blog/install-hado
hadoop 问题汇总
zhc794429974的博客
10-15 248
1、Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 将下面文件复制到windows 下 hadoop/bin下，即可解决 原文链...
hadoop 问题汇总
连峰碧波间，浅水泛舟游
07-27 544
1.在运行hadoop时遇到问题，首先要查询位于 %hadoop安装目录%\logs\userlogs\中的日志信息。控制台输出的日志的内容并不全面。 2.链接hdfs，访问hdfs上面的文件时，出现链接失败。Connection refused。这时需要查看core-site.xml中的fs.defaultFS要改成hdfs://localhost:8020。8020端口是hadoop的name
hadoop遇到的问题
a639735331的博客
02-02 476
问题1:dataNode或者nameNode 没有启动 解决: 可以删除hadoop临时目录,  重新格式化hadoop :hdfs namenode -format    重启hadoop 问题2: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… usi
hadoop配置集群常见问题
最新发布
06-09
### Hadoop 配置集群常见问题及解决方法 在配置 Hadoop 集群时，可能会遇到各种问题。以下是一些常见的问题及其解决方案： #### 1. **HDFS 集群无法启动 DataNode** 在初始化 HDFS 集群后，尝试启动时发现 DataNode 进程无法正常启动。 - **原因**：重复初始化时会重新生成集群 ID，而 DataNode 仍然使用旧的集群 ID，导致两者不匹配[^2]。 - **解决方法**： - 方法一：修改 `data/name/` 路径下的 `version` 文件中的集群 ID 为旧的集群 ID。然而，这种方法可能仍然会导致报错[^2]。 - 方法二：删除 Hadoop 目录中的 `data` 和 `logs` 文件夹，然后重新格式化 HDFS 并启动集群。 #### 2. **SSH 免密登录失败** 在配置 Hadoop 集群时，需要设置主节点到所有从节点的免密登录。如果出现 `permission denied` 或拒绝访问的错误，则可能是 SSH 配置出错。 - **原因**：可能是 SSH 密钥未正确分发到所有从节点，或者权限设置不正确。 - **解决方法**： - 确保主节点生成了公私钥对，并将公钥复制到所有从节点。 - 检查 `.ssh/authorized_keys` 文件的权限是否为 600，确保只有用户自己可以读写该文件[^2]。 #### 3. **无法加载本地 Hadoop 库** 在运行 Hadoop 程序时，可能会看到类似 `Unable to load native-hadoop library for your platform... using builtin-java classes where applicable` 的警告信息。 - **原因**：Hadoop 的本地库未编译或未正确安装，导致程序回退到使用内置的 Java 类[^3]。 - **解决方法**： - 如果需要使用本地库，可以下载对应平台的预编译版本或自行编译源码。 - 确保环境变量 `LD_LIBRARY_PATH` 包含 Hadoop 本地库的路径。 #### 4. **ResourceManager 或 NodeManager 启动失败** 在 YARN 配置中，有时 ResourceManager 或 NodeManager 无法正常启动。 - **原因**：可能是配置文件 `yarn-site.xml` 中的参数设置不正确，或者网络连接有问题[^3]。 - **解决方法**： - 检查 `yarn-site.xml` 文件中的 `yarn.resourcemanager.hostname` 参数是否正确指向 ResourceManager 所在主机。 - 确保所有节点之间的网络连接正常，可以通过 `ping` 测试连通性。 #### 5. **HDFS 文件系统操作失败** 在执行 HDFS 命令时，可能会遇到权限不足或路径不存在等问题。 - **原因**：可能是用户权限不足，或者 HDFS 中的目标路径未正确创建[^1]。 - **解决方法**： - 使用 `hdfs dfs -mkdir` 创建目标路径。 - 确保执行命令的用户具有足够的权限，必要时可以使用 `hdfs dfs -chmod` 修改文件权限。 ```bash # 创建目录 hdfs dfs -mkdir /user/hadoop # 修改权限 hdfs dfs -chmod 777 /user/hadoop ``` #### 6. **日志分析** 如果以上方法均未能解决问题，可以通过查看日志文件进一步定位问题。 - 日志文件通常位于 Hadoop 安装目录下的 `logs` 文件夹中。 - 使用以下命令查看最近的日志信息： ```bash tail -200 <log_file> ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值