解决hadoop 3.0.0配置过程中无法找到hadoop-env.sh的问题

Hadoop 3.0.0配置问题解决
最新推荐文章于 2022-04-05 13:19:29 发布
原创 最新推荐文章于 2022-04-05 13:19:29 发布 · 1.1w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文记录了一次安装配置Hadoop 3.0.0过程中的问题及解决方案，主要针对找不到配置文件hadoop-env.sh的情况。通过使用WinSCP搜索，最终在/usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/conf路径下找到了该文件。
部署运行你感兴趣的模型镜像

初次尝试安装配置Hadoop，并且使用了新版本3.0.0，依据网上教程进行安装过程中，在进行修改配置文件时候出现了问题：无法找到hadoop/conf/hadoop-env.sh。具体见图1。


网上各种搜索无果后决定自己找找看，想到了用WinSCP会不会有文件搜索功能，登陆后发现可以搜索，直接搜素hadoop-env.sh，找到了它的具体位置，包含在：/usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/conf，如图2。


最后正确找到了配置文件hadoop-env.sh的正确位置。


您可能感兴趣的与本文相关的镜像

AutoGPT

AutoGPT

AI应用

AutoGPT于2023年3月30日由游戏公司Significant Gravitas Ltd.的创始人Toran Bruce Richards发布,AutoGPT是一个AI agent（智能体），也是开源的应用程序，结合了GPT-4和GPT-3.5技术，给定自然语言的目标，它将尝试通过将其分解成子任务，并在自动循环中使用互联网和其他工具来实现这一目标

Hadoop集群在虚拟机下的安装配置
zxwwxzzxwwxz的博客
06-27 854
一.安装centos7.0 1.1配置VirtualBox 1.2centos环境配置 a.vi /etc/sysconfig/network-scripts/ifcfg-enp0s3配置 b.关闭防火墙 systemctl stop firewalld c.禁用防火墙，下次开机启动后防火墙服务不再启动 systemctl disable firewalld 1.3执行操作 a.连接上moba b.新建software目录：mkdir software c.把下载好的tomat和jdk包拖进去 输
【橋本菜菜子】Linux上搭建Hadoop的常见问题
qq_52216732的博客
03-02 2550
1.1 引言 之前学云计算的时候只是单纯在实验室操作了一下，很多步骤都忘记了，找攻略的时候也很杂，于是记录最近在自己电脑上搭建Hadoop的时候遇到的一些问题以及相关的解决方案。 在安装Hadoop的同时，我发现hadoop-3.x版本中的hadoop-env.sh文件已经没有可供java环境配置更改的情况。因此如果想要安装hadoop-3.x的小伙伴可以参考一下3.x的配置文件修改方案，其余的步骤大致相同。 1.2教程链接 先放搭建Hadoop集群的教程链接： Hadoop-2.x：http.
Hadoop配置文件的作用
小识的博客
12-17 1691
介绍 hadoop-env.sh 用来定义hadoop运行环江相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径一级master和slave文件的位置等。 core-site.xml 用于定义系统级别的参数，比如HDFS URL、Hadoop的临时目录一级用户rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core...
hadoop-env.sh
04-03
博客配套资源
Centos下查看JDK的安装路径—— hadoop-env.sh 配置文件
qq_43270153的博客
03-15 2284
问题来源 本人在配置hadoop的文件是遇到的，因为CentOS7.4的JDK版本正好是java version "1.8.0_131" ， 故需要查看Centos下查看JDK的安装路径 查看方法 [root@hadoop112: hadoop112 19 日 3月 15 18:41:43 ~]#which java /usr/bin/java [root@hadoop112: hadoop...
hadoop-3.0.0-bin.zip
09-12
在本文中，我们将深入探讨Hadoop的核心组件、Hadoop 3.0.0版本的重要特性以及如何在Windows系统上配置和使用Hadoop。 Hadoop的主要组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式...
hadoop-3.0.0.rar
05-13
3. **配置文件**：在运行Hadoop之前，需要正确配置`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等配置文件。这些文件定义了Hadoop环境变量、HDFS的配置参数以及YARN的设置。 4. **Java环境**：Hadoop是用...
winutils.exe_hadoop-3.0.0
09-18
5. **配置hadoop-env.cmd**：在`HADOOP_HOME\conf`目录下，打开`hadoop-env.cmd`文件，根据你的Java安装位置，修改`JAVA_HOME`变量。 6. **配置core-site.xml**：编辑`HADOOP_HOME\conf\core-site.xml`，添加以下...
按照你给的解决方法，输入copy spark-env.cmd.template spark-env.cmd后显示copy : 找不到路径“D:\spark-3.5.4-bin-hadoop3-scala2.13\conf\spark-env.cmd.template”，因为该路径不存在。 所在位置 行:1 字符: 1 + copy spark-env.cmd.template spark-env.cmd + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + CategoryInfo : ObjectNotFound: (D:\spark-3.5.4-...nv.cmd.template:String) [Copy-Item], ItemNotFoundExce ption + FullyQualifiedErrorId : PathNotFound,Microsoft.PowerShell.Commands.CopyItemCommand
最新发布
03-08
用户提到目录中有spark-env.sh和spark-env.sh.template，但没有.cmd.template文件。这说明用户的环境确实缺少Windows专用的模板文件，所以直接复制会失败。 接下来，我应该引导用户手动创建spark-env.cmd文件，而...
windows10中安装hadoop过程中遇到的一些问题
qq_59281438的博客
04-05 2244
由于课程需要，又不想在Ubuntu里安装hadoop，所以在选择在Windows里安装hadoop，这里简要说一下我遇到的坑。 1、关于winutils: 除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址: https://github.com/steveloughran/winutils 注意比如你hadoop下载的是3.0.0版本, 那么这个类库你也要用3.0.0的. 下载完了把里面所有的.dll等文件和winutils.exe都覆盖到hadoop-
3台机器配置hadoop集群_Hadoop学习之路（三）Hadoop集群搭建和简单应用
weixin_39747807的博客
11-30 351
概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点　　从节点2、master　　slave3、管理者　　工作者4、leader　　followerHadoop集群中各个角色的名称...
hadoop-env.sh配置
weixin_33751566的博客
11-12 1272
1.hadoop的hadoop-env.sh配置,主要配置内容如下,指定jdk目录 exportJAVA_HOME=/usr/java/jdk1.7.0_79 本文转自 素颜猪 51CTO博客，原文链接:http://blog.51cto.com/suyanzhu/1956989 ...
解决hadoop-0.23.8的hadoop-env.sh配置问题
xiaowei6176的博客
06-05 1576
[size=large]最近业余时间在学习Hadoop，下载的版本是0.23.8，但是所有的书本上的例子都是以hadoop 0.20.2为例子来讲述的 在0.23.8中配置JAVA_HOME的那个[color=blue][b]hadoop-env.sh[/b][/color]已经没有了，我谷歌了半天也没有找到相对于0.23.8的env解决 方案，最后看到了stackoverflow上面的一个大牛写...
2. 教你在VirtualBox下安装Hadoop
AKA毅成的博客
09-22 1916
2. Hadoop安装 1. Hadoop的安装 下载Hadoop安装包，通过scp（或其他指令方式）发送到虚拟机上，并进行解压安装。修改环境变量 vi /etc/profile export JAVA_HOME="/opt/jdk1.8.0_211" export HADOOP_HOME="/opt/hadoop-2.8.4" # hadoop安装目录 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /
修改hadoop-env.sh配置文件
热门推荐
ViMan1204的博客
04-01 3万+
前言： 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 4...
hadoop学习中的常见问题及解决办法
Soquel的博客
06-21 4269
1.hadoop：找不到命令 原因：没有配置环境变量 解决办法： 在Linux环境内下输入export PATH=$PATH:/usr/local/hadoop/bin，检查hadoop命令是否可用 输入hadoop version 使hadoop命令永久生效方法： 如果第二次开机后，仍旧提示“hadoop：未找到命令”，那就是上次修改的$PATH 路径没有保存。 解决这个问题，就是直接将其添加到配置文件，有的配置文件在/etc/profile,有的在.bashrc文件里，我的是在.bashrc 中，下面
【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？
wyz0516071128的博客
06-10 692
（1） 浏览器问题 当你配置都完成了，你输入主机名+端口号去访问时，不能访问，但是你得确定前面的配置的哪些步骤都没有错，这可能是你浏览器的问题，我推荐用Chrome或者火狐，这两个基本上是可以的。（2） 域名问题 当你输入IP地址+端口号能访问时，这时你就得看看你的Windows上的映射是否配置成功，可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值