Hadoop的环境搭建

最新推荐文章于 2024-11-04 16:23:02 发布
最新推荐文章于 2024-11-04 16:23:02 发布
阅读量216 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ToChangetheWorld/article/details/79675738

首先是JDK的安装

  • 去官网下载1.8版本的jdk，存放到根目录下

  • 我这里在根目录下新建了两个文件，tools用来存放类似jdk这样的安装包，training用来存放解压后的文件
  • 将jdk的安装包进行解压

  • 接下来配置环境变量
  • 保存之后刷新环境变量然后查看版本，与环境变量中配置的版本一致则说明安装正确


接下来就是Hadoop的安装了

  • 同样先去下载Hadoop的安装包，然后放在tools文件夹中再将其解压到training文件夹中

  • 还是一样配置环境变量并刷新


  • 然后输入start再按两下键盘上的Tab键可以出来Hadoop的启动命令则说明安装成功

下一篇文章结合资料和自己的一些认识简单介绍一下什么是Hadoop和它的体系结构

史上最详细的Hadoop环境搭建
霍力强的专栏
10-10 44万+
GitChat 作者：鸣宇淳原文：史上最详细的Hadoop环境搭建关注公众号：GitChat 技术杂谈，一本正经的讲技术【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署A
3.Hadoop环境搭建之Hadoop的安装和配置
2401_83253656的博客
09-08 3468
创建目录name:mkdir /home/hadoop/hadoop-2.7.4/hdfs/name。创建目录data:mkdir /home/hadoop/hadoop-2.7.4/hdfs/data。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。创建目录hdfs:mkdir /home/hadoop/hadoop-2.7.4/hdfs。安装包需要提前准备好。
Hadoop环境搭建
美国梦中国心
06-29 8326
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop环境搭建详细教程
你爱的程序员的博客
11-04 3119
（1）修改相应的配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml） 进入。（2）配置java_home(yarn-env.sh、hadoop-env.sh、mapred-env.sh)（3）修改JAVA_HOME(yarn-env.sh、hadoop-env.sh、mapred-env.sh)（1）删除hadoop文件夹中的 data、logs文件夹（最后需要重新格式化）（2）修改core-site.xml文件（与前文伪分布式相同，此处不再介绍）
hadoop环境搭建
2301_80911580的博客
04-11 1412
了实现集群中，节点之间的信息交互，我们采用SSH的方式，可以让master节点无密码登录其他slave节点上。workers文件默认为localhost，即默认情况下，namanode和datanode都被部署在同一个节点上，而我们要做完全分布式Hadoop环境，所以，需要将workers中的内容修改为slave节点名称。在master节点上依次执行start-dfs.sh、start-yarn.sh等命令，可以分别在master节点和slave节点上看到对应调起的线程，用jps命令查看如下图所示；
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 1万+
HADOOP环境搭建过程详解
最新Hadoop环境搭建流程
log1119的博客
08-13 4111
本文介绍了Hadoop环境搭建的基本流程，供学习参考和自检使用
Hadoop环境搭建步骤
qq_36314579的博客
08-26 3675
文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结 前言 Hadoop开发环境搭建 为了防止以后每次搭建的时候查看太多教程而导致时间无端消耗，本次重装环境自行进行过程记录。 一、虚拟机安装 基于VMware平台安装centos8，主要就是下载镜像安装打开就行，该过程较为简单不赘述。 二、安装JDK和Hadoop 1.基本信息配置   &.
虚拟机环境+Hadoop环境搭建
m0_51537642的博客
08-04 3366
虚拟机环境+Hadoop环境搭建
Hadoop环境搭建（全网最详细，保姆级教程）
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
hadoop环境搭建.docx
07-29
4. 配置Hadoop环境是关键步骤，主要涉及以下几个文件： - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量，如`JAVA_HOME`，应确保指向正确的JDK安装路径，例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...
Hive 修改表字段
热门推荐
ToChangetheWorld的博客
04-14 3万+
ALTER TABLE 表名 CHANGE 旧字段 新字段 类型;示例:  ALTER TABLE test CHANGE name ename string;
Google的三篇大数据思想论文
ToChangetheWorld的博客
03-24 1万+
大数据    1、什么是大数据        简单说就是身边的一切，你看到的是，听到的是，闻到的感觉到的触摸到的都是    2、具体一点        天猫淘宝的购物数据，你的聊天记录，医疗记录，看书或者挑东西时候的推荐物品大数据的问题    1、生活中的种种数据数量如此之多，如何存储    2、要让数据有意义，又该怎么去处理海量的数据Google对大数据问题的思想    1、GFS：Google...
Hadoop的本地模式环境搭建
ToChangetheWorld的博客
03-24 1060
搭建Hadoop的本地模式    编辑Hadoop安装目录的配置文件    设置其jdk的安装路径    找到Hadoop的实例包    列出所有例子，咱们来搞这个    然后在当前目录创建临时文件夹并放入实例所需要的数据文件    写入测试数据    参看demo操作的参数(用法) -> 输入和输出都是本地路径     加上操作的参数，输入输出    完成后查看结果    查看计数的结果数...
Hadoop伪分布环境下的实例
ToChangetheWorld的博客
03-24 704
伪分布环境下的实例    输入jps查看Hadoop环境是否启动            进入Hadoop自带的实例包            创建输入数据文件夹        hdfs dfs -mkdir /input    放入数据，相关内容操作参考我的这篇本地环境搭建的文章        hdfs dfs -put data.txt /input    使用实例包并指定输入输出参数路径    ...
配置ssh免密登录
ToChangetheWorld的博客
03-24 511
配置ssh免密登录    1、生成秘钥         ssh-keygen -t rsa(加密算法)    2、将公钥给需要登录的机器         ssh-copy-id -i .ssh/id_rsa.pub root@ip        会需要输入密码    这个里面就是保存所有公钥的地方            这样就配置成功了            相比前面的博客这次在执行start-a...
搭建Hadoop的伪分布模式
ToChangetheWorld的博客
03-24 440
搭建Hadoop的伪分布模式    通过修改Hadoop安装目录下的配置文件来搭建    1、hdfs-site.xml -> 配置HDFS            数据块的冗余度，默认为3，因为搭建的是伪分布环境只有一个数据节点所以配置为1，一般来说数据块的冗余度和数据节点是一致的，但是最大不要超过3，超过3后就没有实际意义了                2、core-site.xml -...
Hadoop 环境搭建
最新发布
01-06
### 如何搭建Hadoop环境 #### 准备工作 为了成功搭建Hadoop环境，需先准备好必要的软件和硬件资源。具体来说，需要安装VMware虚拟机并在此基础上安装CentOS 7版本的操作系统[^2]。 #### 安装Java环境 由于Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值