解决hadoop 3.0.0配置过程中无法找到hadoop-env.sh的问题

最新推荐文章于 2023-06-23 13:07:00 发布
原创 最新推荐文章于 2023-06-23 13:07:00 发布 · 2.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
文章标签：

#hadoop #大数据 #hdfs #spring #okhttp

本文分享了一次初次安装配置Hadoop 3.0.0的过程中遇到的问题及解决办法，主要介绍了如何定位并找到关键配置文件hadoop-env.sh的具体路径。

初次尝试安装配置Hadoop，并且使用了新版本3.0.0，依据网上教程进行安装过程中，在进行修改配置文件时候出现了问题：无法找到hadoop/conf/hadoop-env.sh。具体见图1。

网上各种搜索无果后决定自己找找看，想到了用WinSCP会不会有文件搜索功能，登陆后发现可以搜索，直接搜素hadoop-env.sh，找到了它的具体位置，包含在：/usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/conf，如图2。

最后正确找到了配置文件hadoop-env.sh的正确位置。

Hadoop集群在虚拟机下的安装配置
zxwwxzzxwwxz的博客
06-27 861
一.安装centos7.0 1.1配置VirtualBox 1.2centos环境配置 a.vi /etc/sysconfig/network-scripts/ifcfg-enp0s3配置 b.关闭防火墙 systemctl stop firewalld c.禁用防火墙，下次开机启动后防火墙服务不再启动 systemctl disable firewalld 1.3执行操作 a.连接上moba b.新建software目录：mkdir software c.把下载好的tomat和jdk包拖进去 输
【Hadoop学起来】Linux配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh时找不到JAVA_HOME?
weixin_34254823的博客
04-21 5910
正文之前 今天很气愤！！想要学点东西，但是老是被环境所限制。Hadoop这个见鬼的环境，我只是运行单机模式，结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录，因为快要睡了明天再说吧。另外我这里有《Hadoop 权威指南》第三版的翻译版本（华东师范大学翻译）。我今天吃完晚饭去书店逛的时候又看到了第四版的盗版书。所以见猎心喜之下买了回来。如...
大数据集群安装02之Hadoop配置
weixin_43744732的博客
03-24 2750
Hadoop配置 必看 配置千万条，网络第一条。 配置不规范，bug改到吐。 内外ip要分清，本机配置内ip，连接请用外ip 1.下载上传插件rz 【安装命令】： yum install -y lrzsz 2.上传hadoop压缩包 【上传命令】： ## 上传压缩包 rz ## 压缩 tar -zxvf [包名] 3.配置hadoop (1)编辑.bashrc文件 在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加) # jdk export JAVA_HOME=/roo
Centos下查看JDK的安装路径—— hadoop-env.sh 配置文件
qq_43270153的博客
03-15 2286
问题来源 本人在配置hadoop的文件是遇到的，因为CentOS7.4的JDK版本正好是java version "1.8.0_131" ， 故需要查看Centos下查看JDK的安装路径 查看方法 [root@hadoop112: hadoop112 19 日 3月 15 18:41:43 ~]#which java /usr/bin/java [root@hadoop112: hadoop...
hadoop-3.0.0-bin.zip
09-12
在本文中，我们将深入探讨Hadoop的核心组件、Hadoop 3.0.0版本的重要特性以及如何在Windows系统上配置和使用Hadoop。 Hadoop的主要组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式...
hadoop-3.0.0.rar
05-13
3. **配置文件**：在运行Hadoop之前，需要正确配置`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等配置文件。这些文件定义了Hadoop环境变量、HDFS的配置参数以及YARN的设置。 4. **Java环境**：Hadoop是用...
winutils.exe_hadoop-3.0.0
09-18
5. **配置hadoop-env.cmd**：在`HADOOP_HOME\conf`目录下，打开`hadoop-env.cmd`文件，根据你的Java安装位置，修改`JAVA_HOME`变量。 6. **配置core-site.xml**：编辑`HADOOP_HOME\conf\core-site.xml`，添加以下...
按照你给的解决方法，输入copy spark-env.cmd.template spark-env.cmd后显示copy : 找不到路径“D:\spark-3.5.4-bin-hadoop3-scala2.13\conf\spark-env.cmd.template”，因为该路径不存在。 所在位置 行:1 字符: 1 + copy spark-env.cmd.template spark-env.cmd + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + CategoryInfo : ObjectNotFound: (D:\spark-3.5.4-...nv.cmd.template:String) [Copy-Item], ItemNotFoundExce ption + FullyQualifiedErrorId : PathNotFound,Microsoft.PowerShell.Commands.CopyItemCommand
最新发布
03-08
用户提到目录中有spark-env.sh和spark-env.sh.template，但没有.cmd.template文件。这说明用户的环境确实缺少Windows专用的模板文件，所以直接复制会失败。 接下来，我应该引导用户手动创建spark-env.cmd文件，而...
windows10中安装hadoop过程中遇到的一些问题
qq_59281438的博客
04-05 2248
由于课程需要，又不想在Ubuntu里安装hadoop，所以在选择在Windows里安装hadoop，这里简要说一下我遇到的坑。 1、关于winutils: 除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址: https://github.com/steveloughran/winutils 注意比如你hadoop下载的是3.0.0版本, 那么这个类库你也要用3.0.0的. 下载完了把里面所有的.dll等文件和winutils.exe都覆盖到hadoop-
hadoop-env.sh
top_explore的博客
01-27 931
export JAVA_HOME=/usr/local/java/jdk1.8.0_251 export HADOOP_HOME=/opt/bigdata/hadoop-3.3.0/ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME e.
mac安装hadoop
m0_64965705的博客
12-12 1887
1.安装Hadoop 首先确保正确安装了brew以及jdk,在终端键入： 1.安装Hadoop 首先确保正确安装了brew以及jdk,在终端键入： 来查看hadoop的版本信息（此处为3.2.1版本) 2.配置Hadoop (1)配置环境变量HADOOP_HOME(注意版本号的区别)： (2)修改配置文件: 默认情况下，Hadoop的配置文件在如下目录中： /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/ 可以利用ls命令...
修改hadoop-env.sh配置文件
热门推荐
ViMan1204的博客
04-01 3万+
前言： 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 4...
hadoop分布式集群配置（linux）
m0_61232019的博客
09-24 1462
linux下如何安装hadoop分布式集群。安装hadoop分布式集群要先安装jdk，之后再进行配置文件。本篇文章详细的解释了安装的全部过程。
基于linux的Hadoop配置文件修改和启动
Matrix70的博客
06-23 5466
本篇博客详细叙述了Hadoop的安装及配置文件的修改，包括hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml......,并介绍了将worker节点的master上的hadoop分配到worker机器中的命令，后续配置完毕后，启动 集群
Hadoop集群构建（四）
weixin_64270471的博客
11-18 1833
主要任务。
【保姆级教程】hadoop 3.x 环境配置——入门篇
weixin_44259984的博客
11-16 9816
已完成伪分布式集群搭建和完全分布式集群搭建的过程演示；待补充虚拟机配置流程（这次主要使用的是云服务器，所以没加这部分内容）。本文档为作者在大三下学期初次接触分布式计算时的记录文档，基本涵盖了作者在配置环境时踩过的所有坑，能力有限，若有疏漏还望大家批评指正。
【hadoop环境搭建】
qq_43953055的博客
07-19 1602
hadoop环境搭建
Hadoop的安装——配置文件
Chlin.Rei的博客
05-29 4277
Hadoop的安装----配置文件配置hadoop-env.sh文件使用gedit命令修改hadoop-env.sh文件修改JAVA_HOME环境变量配置yarn-env.sh文件配置core-site.xml 文件配置hdfs-site.xml文件配置yarn-site.xml文件配置mapred-site.xml文件复制mapred-site-template.xml文件使用gedit编辑mapred-site.xml文件
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值