2、Hadoop 高可用集群及java API

最新推荐文章于 2023-07-05 22:53:52 发布
原创 最新推荐文章于 2023-07-05 22:53:52 发布 · 480 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档详细介绍了如何搭建Hadoop的单机伪分布式和完全分布式环境，重点讲解了Hadoop-HDFS-HA模式的原理，包括Zookeeper的三个核心机制。在HA模式下，不再存在SecondaryNameNode，而是通过JournalNode实现数据同步。同时，文章还涵盖了Hadoop-HDFS的Java API使用，提供了一个简单的示例类`TestHDFS`。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

单机伪分布式hadoop的搭建

参照：https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html
在这里插入图片描述

  • node01ssh远程登录node02来远程操作node02节点的内容，此过程是不会加载/etc/profile文件的。
    在这里插入图片描述
  • 1、 进行免密钥操作
    在这里插入图片描述在这里插入图片描述在这里插入图片描述
  • 2、安装jdk
    在这里插入图片描述在这里插入图片描述
  • 配置环境变量/etc/profile
    在这里插入图片描述在这里插入图片描述
  • 3、上传hadoop并解压
    在这里插入图片描述
  • 移动目录
    在这里插入图片描述
  • 给hadoop的环境变量
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述
  • 修改hadoop的需要依赖jdk配置文件的信息，改为绝对路径
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • core.site.xml决定了namenode的配置，hdfs-site.xml决定了secondary的配置，
    slaves决定了node01的启动
  • 格式化。分布式文件系统
    在这里插入图片描述在这里插入图片描述
  • 启动hdfs</
最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据学习笔记31：Java程序访问高可用Hadoop集群
howard2005的专栏
01-28 756
文章目录一、提出任务1、编写Java程序在HDFS上创建目录2、编写MapReduce程序进行词频统计二、准备工作1、启动hadoop集群1、启动ZooKeeper集群2、启动JournalNode集群3、启动NameNode4、启动DataNode5、启动错误恢复机制6、启动ResourceManager2、上传数据文件到HDFS3、创建Maven项目WorkOnHadoopCluster4、修...
一篇搞定，Hadoop高可用集群搭建及API调用，超详细
最新发布
mrcool2012的博客
07-21 1066
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNameNode会对fsimage和edits文件进行合并，并推送给NameNode，防止因edits文件过大，导致NameNode重启变慢),这是Hadoop1的不可靠实现。
hadoop hdfs 高可用集群JAVA API CLIENT
Andychau2015的博客
08-08 549
参考文章 https://www.cnblogs.com/junneyang/p/5869413.html https://blog.youkuaiyun.com/wt346326775/article/details/72597694 将hadoop配置文件hdfs-site.xml的内容配到API里 import java.io.FileInputStream; import java.io.InputS...
hadoop（十）hadoop集群Java Api
~
08-24 259
import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; imp...
集群搭建_java_hadoop完全分布式集群搭建全部流程之一hadoop和java安装
weixin_39757626的博客
03-01 177
hadoop完全分布式集群搭建全部流程之一hadoop和java安装hadoop完全分布式集群搭建全部流程之一：hadoop和java安装1.在linux里安装jdk1)卸载现有jdk(1)查询是否安装java软件：rpm -qa|grep java(2)如果安装的版本低于1.7，卸载该jdk：rpm -e软件包2)用filezilla工具将jdk、Hadoop-2.7.2.tar.gz导入到op...
高可用Hadoop平台－Hue In Hadoop
weixin_34233618的博客
05-25 288
1.概述 　　前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录： Hue简述 Hue In Hadoop 截图预览 　　本文所使用的环境是Apache Hadoop-2.6版本，下面开始今天的内容分享。 2.Hue简述 　　H...
通过Java API获取hadoop高可用下所有集群信息
Yiie 的博客
09-02 2881
首先通过Configuration把集群的一些必要信息配置好 直接上代码 Configuration conf=new Configuration(); conf.set("fs.defaultFS", "hdfs://yiie"); conf.set("dfs.nameservices","yiie"); conf.set("dfs.ha.name...
Hadoop高可用集群
千锋教育
06-02 1232
当发生故障的时候, Active节点挂掉, 此时Standby节点在成为新的Active节点之前, 会将读取到的EditLog文件在自己的内存中进行推演, 得到最新的目录树结构. 此时再升为Active节点, 可以无缝的继续对外提供服务.当有任何的操作发生在Active节点上的时候, JN会记录这些操作到半数以上的节点中. Standby节点检测JN中的log日志文件发生了变化, 会读取JN中的数据到自己的内存中, 维护最新的目录树结构与元数据信息。要是有一个能监视Active节点的服务功能就好了。
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文) 附安装包网盘下载
热门推荐
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Hadoop之高可用HA
10-22
1.深入理解zookeeper的使用场景及概念 2.熟练使用zookeeper的java api 3.理解监听集群主机上下线案例代码
java通过api方式操作Hadoop
09-23
该资源是java通过api的方式来操作hadoop，主要有以下操作： 一.文件操作 1.上传本地文件到hadood 2.在hadoop中新建文件，并写入 3.删除hadoop上的文件 4.读取文件 5.文件修改时间 二.目录操作 1.在hadoop上创建目录 2.删除目录 3.读取某个目录下的所有文件 三.hdfs信息 1.查找某个文件在HDFS集群中位置 2.获取HDFS集群上所有名称节点信息
hadoop各组件Java API
DRAmonster的博客
08-12 1045
标题
hadoop集群：HDFS的Shell命令行操作与Java 常用API操作
weixin_41300542的博客
03-17 4362
hadoop hdfs的shell命令与java 常用api的操作与思想保持一致，故对比，易于理解与记忆 主要区别点： shell命令行，一般在虚拟机集群或者远程连接工具Xshell上操作，被操作对象分别为 Linux文件系统本地 + HDFS文件系统 Java API，一般在Windows系统下idea软件上编写代码操作，被操作对象分别为 Windows文件系统本地 + HDFS文件系统 （一）HDFS的Shell命令行操作： 1，查看所有的hdfs命令 hadoop dfs 或者 hdfs dfs ，
Hadoop大数据（第二天）JavaApi的调用
aixh9562的博客
01-02 246
1 下载个windows版的hadoop 配置bin目录HADOOP_PATH 2 引入jar包 hadoop/common里的common包 lib里面所有的包 3 构造客户端 package hdfs24; import java.io.IOException; import java.net.URI; import java....
HADOOP高可用搭建
qq_43662851的博客
06-18 147
使用xshell导入jdk，用rpm装jdk 配置jdk环境变量 免秘钥配置 创建software 导入hadoop 重新配置环境变量，加入hadoop 修改hadoop配置文件信息给三个文件里的JAVA_HOME都改成绝对路径/usr/java/jdk1.7.0_67 修改hadoop配置文件信息 修改hadoop配置文件信息 格式化 启动集群 在浏览器里打开node1:50070 在hdfs中创建俩个目录 传输文件到linux 把文件传入到inp
Hadoop高可用集群搭建
m0_50744317的博客
05-08 4185
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
hdfs的高可用配置及java api配置连接方式
weixin_42604344的博客
07-31 5039
配置之前需要具备的环境 进入官网后找到左侧Documentation,点击对应版本 点击左侧栏 修改core-site.xml文件 进入目录 [root@hadoop01 ~]# cd /usr/local/hadoop-2.7.1/etc/hadoop/ vi 进入后找到 修改为（名字随便起） 添加 &lt;property&gt; &lt;nam...
HDFS高可用架构
qq_62553456的博客
06-26 1208
NameNode负责响应客户端的请求，负责管理整个文件系统的元数据HDFS的读、写操作都必须向NameNode申请，元数据非常关键负责维持文件副本的数据是为了帮助NameNode合并编辑日志，减少NameNode启动时间。另外NamNode的元数据丢失可以通过恢复。DataNode负责存放被切割后的文件块，文件在DataNode中存储单位是块(Block)如果集群是完全分布式的，那么一个文件的每一块都必须有多个副本，存放在不同的DataNode上。
javaAPI 连接 HDFS 高可用配置
Jason不在家的博客
02-13 3799
1.引入jar包&lt;properties&gt; &lt;hdfs.version&gt;2.8.2&lt;/hdfs.version&gt; &lt;/properties&gt; &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupI
Hadoop 0.20.2 Java API参考手册
Hadoop 0.20.2版本属于早期版本，它为使用Java开发人员提供了丰富的API接口，这些接口可用于构建能够存储大量数据并能在廉价的硬件集群上进行高效计算的应用程序。 ### Hadoop分布式架构概览 Hadoop的设计基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值