hadoop_2_完全分布式高可用

[Hadoop] hadoop 2.7完全分布式高可用部署 文章目录1. hadoop ha 原理描述2. 集群规划3. 集群服务器准备1. 配置IP和主机名称映射2. 关闭防火墙3. 关闭selinux4. 同步时间5. 配置sudo权限6. 安装jdk环境7. 切换用户配置ssh免密登录8. 安装zookeeper集群4. 集群安装1. 下载包hdoop-2.7.7.tar.gz2. 配置hadoop文件3. 配置环境变量4. 分发安装包到其它主机4.... 阅读详情

2    HDFS 的高可用,针对namenode(管理节点)
    当namenode内存受限时,增加namenode节点叫HDFS的联邦
    
3    HDFS HA  namenode  高可用,zookeeper 主、备

4    hadoop2.0 完全分布式 高可用,注意与keepalived不同的是 主namenode 被 备namenode接管后,若主namenode再起来是
    不会被主namenode接管回去的
    被接管的前提是 是两个namenode的元数据必须一样
    (启动初始化(fsimage,formate格式化时生成,(格式化时会把把数据上传到JN,以供合并)格式化完成后为了保持一致,要复制到backup namenode中)、
    运行过程中(edits)记录操作日志,例如添加删除树信息)
    所以只能在任意一台上格式话,edits文件要共享--放在一共享目录,权限开放。
    
    接下来 zookeeper 它本身也是一个内存数据库集群(存每一台namenode的状态
    ,例如心跳状态,心跳数据由failoverController这个节点发送的,它还有一个功能
    是负责自动切换namenode,可见failoverController(ZKFC)是zookeeper和namenode的桥梁,它和namenode在同一台机子上。
   
    namenode的内存不够的解决方案是 联邦(每个都各自独立,HA独立,共享datanode) 一般企业少用,因为很少有元数据超过128G的,
    电信行业会用,会用3个namenode来用 1个存流量1个存短信等,因为数量级很难达到
    
    每一个namenode有一个id号,是供zookeeper用的
    hdfs-site 配置 namenode 时配置2个协议的 1 rpc是进程之间的通信 2 http,http是供web页面的
    
    同一服务器两进程状态之间的切换,其实是一个进程远程登录到本地来访问另一个进程,所以journalnode去
    访问namenode要配置私钥
    
    core-site.xml 配置公共的属性
    hdfs-site.xml 配置hdfs的属性
    
    zookeeper 中的内存数据和磁盘上的数据是一一映射的,启动的时候加载到内存,停掉时再写到磁盘
    3个zookeeper是副本,没有master
    zookeeper配到core-site.xml 因为 yarn的集群也要做高可用,yarn的高可用也是用zookeeper的
  
    搭建zookeeper高可用集群:

    1     配置zookeeper 环境变量
        export ZOOKEEPER_HOME=/home/zookeeper-3.4.6
        export PATH=$PATH:$ZOOKEEPER_HOME/bin
   
    2   配置zookeeper设置
        /home/zookeeper-3.4.6/conf
        vi zoo.cfg
        zookeeper配置文件官方文档http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.html
        tickTime=2000
        dataDir=/opt/zookeeper
        clientPort=2181
        initLimit=5
        syncLimit=2
        server.1=hadoop-node1:2888:3888  1  2   3  为服务编号
        server.2=hasoop-node2:2888:3888
        server.3=hadoop-node3:2888:3888
       
    3    拷贝zookeeper文件到其他机器(拷贝前删掉doc)
    4    注意3台一起启动 zkServer.sh start
        zookeeper的日志文件,默认是在哪里启在哪里产生日志文件 zookeeper.out
        启动后,内存数据库也就起来
        
5    搭建完全分布式的HA集群

    搭建过程:
        1 修改配置文件
            cd /home/hadoop-2.5.1/etc/hadoop/
            文档地址 file:///D:/hadoop/hadoop-2.5.2/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
            org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        2
            cd /home/hadoop-2.5.1/etc/hadoop
            vi slaves 内容:
            hadoop-node2
            hadoop-node3
            hadoop-node4
        3   zookeeper启动了,配置同步了,接下来初始化namenode和同步namenode
            1  启动JN (在hadoop-node1 hadoop-node2 hadoop-node3上启动,因为JN服务器有两个节点,因为JN和datanode必须是一对一的)那么启动单节点
                命令: hadoop-daemon.sh start journalnode
            2  在2个namenode上,选择任意一台格式化,我选择 hadoop-node4    
                    hdfs namenode -format
           3  同步元数据:
               把元文件拷贝过来,拷贝到hadoop-node1
             
            4  元数据同步后,要格式化 zkfc (把namenode和zookeeper搭桥)
                在任意一台namenode上执行
     
            5   全部配置初始化完
                启动 start-dfs.sh
            6   判断是否能接管
                在namenode上jps
                全部停止hadoop命令
                stop-dfs.sh
                启动单个节点 hadoop-daemon.sh start namenode
                
6   计算框架MapReduce  编程(分布式计算框架,离线计算也叫批量计算)
    storm 是来一点计算一点(几M几k)每计算一次出结果,它不适合计算一完整的准备好的数据
    MapReduce 是批量计算
    MapReduce的环境是yarn
    
    MapReduce 是移动计算,而不是移动数据
        分布式计算其实也叫网格计算,是跨网络的,有一个一个的节点
        
    离线计算,流式计算,内存计算统称为分布式计算
    
    1个MapReduce 程序在计算框架中运行的时候它是按照4个步骤来进行的
        
        1 切 切成若干个小的数据片段
        2 map 执行程序 (maptask程序,每一个数据片段对应一个maptask线程)   
        3 洗牌 对map计算之后的结果进行洗牌,排序、分组、合并、跨网络传输、序列化、反序列化
        4 reduce reducetask
        
    MapReduce一个很大的一个优点是就近计算
    整个流程我分了四步。简单些可以这样说,每个map task都有一个内存缓冲区,存储着map的输出结果,
    当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘,当整个map task结束后
    再对磁盘中这个map task产生的所有临时文件做合并,生成最终的正式输出文件,
    然后等待reduce task来拉数据。
        
    maptask洗牌
        maptask输出的数据肯定在内存
        1    partition 分区 目的是决定这条数(一个key-value)据最后到哪个reduce中
        2   sort 排序比较得到一个排序号,把内存中任意一条数据俩俩比较,默认算法是
            根据key的ascII吗比较的
        3   排完后合并然后写到磁盘,依次循环,一直等到所有数据都写到磁盘
            
        上面的一系列操作都会在 maptask机子上maptask线程
    
    reducetask洗牌
        1   从各个maptask那台机子上去抓取数据,判断是否属于我的数据(
        根据partition得到的分区号)
        2   由于是从各个maptask上fetch的数据,所以要进行二次排序也就是再次比较分组,key相同的就分到一组,然后把这一组
        传给reducetask,传给程序也就是放到内存缓冲区,每计算一组就输出一组
        
    2次洗牌注意2点
        1  要涉及到网络传输
        2  设计到2次排序
        3  都要放到缓存
        
    map输出的每一个split块,依次进行partition sort group sort 传给 reduce  这是默认洗牌步骤
    combiner 合并(自己写的程序,根据key相同来进行合并的) 是为了减少map输出的数据(到reduce),这样在跨网络时就很快
    
    计算框架默认1 partition 默认算法是对reduce数量取模 2  排序算法默认是根据key的hashcode值 3 分组是key是否相同
    
    任何一个数据片段的大小不会超过blocksize,也 就是任何一个数据片段不会垮block
    
7    mapreduce执行的环境 YARN (也就是mapreduce在那台机器上执行)
    是hadoop 2.0 引入的资源管理系统
    资源管理  任务调度
    ResourceManager:负责集群的资源管理
    Application Master:负责应用程序相关的失误,比如: 任务调度、任务监控和容错
    (例如由于网络原因任务挂掉了,它会自动启动任务)
    
    YARN 程序运行的环境,它本身也是一个集群,有2个节点 ResourceManager 和 NodeManager(多个)(App Master在NodeManager进程里面有)
    
    启动yarn环境
        在hadoop-node1上
        start-yarn.sh 可见ResourceManager启动了
        但它并不会在hadoop-node4上自动启动ResourceManager(这是官方,此脚本的bug)
        所有要手动启动一下
        hadoop-node4上 输入 yarn-daemon.sh start resourcemanager
    
    由于断电导致namenode都是stadby
    执行hdfs haadmin -transitionToActive --forcemanual nn1  重新切换active
hadoop完全分布式高可用配置文件 hadoop完全分布式高可用配置文件,还有spark和zookeeper的配置,后续可以自己更改,很方便的,............................................................................................................................................................................................................ 立即下载

相关推荐

如何用SoulChat2.0快速克隆你的心理咨询师?手把手教你搭建AI数字孪生体

本文详细介绍了如何利用SoulChat2.0框架快速构建心理咨询师的AI数字孪生体。通过其核心PsyDT技术,仅需少量真实案例即可合成风格数据并微调大模型,从而低成本地创建能高度模仿特定咨询师语言风格和专业技术的AI分身,适用于预约访谈、心理教育等辅助场景,实现高效的人机协作。

julia4scientist的博客 981

Hadoop完全分布式+HA配置

这里简单总结一下自己在配置Hadoop完全分布式以及namenode的HA的步骤及遇到的问题和解决方法。

u012240857的博客 1682

【深度学习】肺结节分割项目实战一:处理数据集

一、LIDC-IDRI数据集简介 官方网站 肺图像数据库协会的图像收集(LIDC-IDRI)包括诊断和带有病变注释标记的肺癌筛查胸部CT。这是一个网络公开的国际资源,用于肺癌检测和诊断的计算机辅助诊断(CAD)方法的开发、培训和评估。 数据集包含1018个病例,每个病例包括来自临床胸部CT扫描的图像和一个相关的XML文件,该文件记录了由四名经验丰富的胸部放射科医生进行的两阶段图像注释过程的结果。在最初的盲读阶段,每个放射科医生独立审查每个CT扫描,并标记出属于三种类型之一的病变(“结节>= 3mm”,

weixin_42182906的博客 1万+

hadoop完全分布式搭建HA(高可用)

首先创建5台虚拟机(最少三台),并且做好部署规划ip地址 主机名 安装软件 进程 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 master2 jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192...

weixin_41407399的博客 1万+

Workbuddy+DeepSeek V4傻瓜流配置全指南:API接入、模型切换与Agent实战

AI编程助手的核心价值不在于模型本身,而在于如何稳定、安全、低门槛地调用其能力。Agent作为智能体范式,依赖可靠的运行时环境与标准化API通信;DeepSeek V4系列凭借高吞吐、低延迟和强工具调用支持,成为当前生产级Agent的理想引擎。Workbuddy则通过本地配置管理、环境变量注入与UTF-8无BOM容错等工程设计,将复杂部署简化为可复现、可版本化、可团队协同的实践流程。本文聚焦API接入路径下的真实卡点——从Key获取验证、models.json字段语义到沙箱权限控制,覆盖开发者在Window

weixin_33702545的博客 2403

LangChain + Milvus Lite:从零搭建本地RAG知识库

本文详细介绍了如何利用LangChain、Milvus Lite和gte-large-zh模型,在本地从零搭建一个完整的RAG知识库系统。文章涵盖了环境配置、文档处理与向量化、本地向量库构建以及检索问答实现的全流程,重点突出了完全本地化部署带来的数据隐私安全和成本优势,为开发者提供了一条实践性极强的技术路径。

weixin_29044713的博客 448

[hadoop] hadoop的优缺点总结

hadoop有以下四个优点: 1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。 2)高扩展性:能在廉价机器组成的集群间分配任务数据,可方便的扩展数以干计的节点。 3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。 4)高容错性:能够自动将失败的任务重新分配。 同时hadoop 1.x有以下三...

朱同学的博客 7305

K-GAS解读(08)

大众kgas标准,大众及其供应商kgas

m0_51113317的博客 598

Hadoop完全分布式安装-高可用(HA)

《概述》        Linux hadoop3 2.6.32-358.el6.i686 #1 SMP Thu Feb 21 21:50:49 UTC 2013 i686 i686 i386 GNU/Linux        共四台Linux主机 一、Hadoop角色规划Hadoop1Hadoop2Hadoop3Hadoop4 NameNode√√ ZKFC√√ Da

GSD109的博客 660

YOLOv11涨点改进| TGRS 2026 顶刊| 注意力改进篇| 引入MSEA多尺度边缘感知注意力,助力红外小目标检测、遥感目标检测、工业缺陷检测、图像去雨雾任务高效涨点

🔥本文提出了一种基于MSEA多尺度边缘感知注意力的YOLOv11改进模型,通过增强网络对边缘、纹理和细粒度信息的感知能力,显著提升复杂背景下的目标检测性能。MSEA模块采用多尺度空洞卷积提取上下文特征,并通过边缘监督和注意力融合机制强化目标边界信息。实验表明该方法在小目标、边界模糊目标和复杂纹理目标检测任务中表现优异,尤其在遥感、工业缺陷和红外检测等场景具有显著优势。文章详细介绍了MSEA的结构原理、核心代码实现、模块配置方法以及三种YOLOv11改进方案.

Ai缝合怪、助力小伙伴高效发论文 185

uniapp(全端兼容) - 最新详细实现pdf在线预览功能,uniapp内置预览PDF文件功能,uniapp在安卓app|苹果app|h5网页网站|微信小程序中打开pdf进行在线预览(详细示例源码)

uni-app,安卓Android,苹果ios,App端,H5网页,移动端网站,微信小程序,支付宝小程序,nvue,vue,pdf文档,pdf文件,office,uniapp 预览pdf,uniapp怎么做pdf预览,uniapp如何实现全平台兼容的pdf在线预览,uniapp怎么在h5打开pdf文档,实现PDF在线预览,H5移动端文件预览pdf,文件下载和预览,uniapp App端pdf文件预览,app移动端在线预览pdf文件,无法预览pdf怎么办,有没有预览pdf的插件,根本打不开咋办,uniapp使

✅ 精选推荐文章 1万+

Centos7 zookeeper3.5.6 + hadoop3.2.1+Hbase2.2.2完全分布式+高可用(HA)图文教程

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...

gdeasy的博客 6976

uniapp [全端兼容] - 实现接入集成高德地图搜索地址及选择位置功能,搜索框检索选择地点并返回经纬度及详细省市区县街道地址,用户搜索历史及清空历史记录,选择地址自动获取周边位置列表/地图移动选点

uni-app,高德地图,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,Uniapp高德地图,在地图上选择或搜索指定地点,打开地图选择位置,关联地址搜索,输入地址返回附近地址列表,uniApp高德地图地址搜索,搜索框历史记录,关键字搜索,周边查询,搜索位置,uniapp对接高德实现搜索出现地址以及保存搜索记录,集成高德地图,实现精准位置选点功能,获取当前定位城市,如何实现搜索功能,获取省份城市区街道详细地址经纬度,移动选点标记位置,在地图上进行选择位置选点、搜索

🏆 前端领域优质创作者 1万+

hadoop2.2完全分布式集群NameNode 的HA高可用性设置

本文主要介绍通过ambari方式安装hadoop2.2完全分布式集群后的NameNode高可用性HA设置,以及hadoop分布式存储hdfs的管理界面和命令介绍。通过ambari工具配置还是相对比较简单的。以下是我的集群环境结够:服务器主机名角色外网ip内网ip角色说明及用途宿主Along-1.yc.comhadoop client192.168.200.61172.23...

weixin_34384915的博客 347

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Centos7.4+zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用(HA)完全分布式集群搭建

本文档详细描述了Centos7.4+zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用(HA)集群的搭建过程,以及验证等操作使用方法。 hadoop高可用完全分布式集群搭建 Centos7.4+zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用(HA) 服务器环境准备 主机列表 主机IP 主机名 配置 操作系统 安装软件 运行进程 192.168.26.100 hd100 2C 4G CentO

peng_s_w的专栏 1715

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【大数据毕设环境配置六】-搭建基于hadoop2.7的高可用(HA)完全分布式集群

效果展示: 一台50070主节点: 查看:点击这里 8088端口 查看:点击这里 高可用说明 至少两个主节点,一个挂掉之后,另外一个仍能够继续工作 将yarn 资源管理权交给一个从节点 基本情况如下: 安装重要说明: 环境变量(略) 配置五个重要的文件(注意对应你的主机名字,直接分享出来,就不贴代码了,网上很多,需要的直接用SCP上传即可) 密码: wbvm...

叙话代码 412

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群启动方式、master/slave1/slave2配置

Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群启动方式

HaveAGoodDay428的博客 1928

Hbase完全分布式安装-连接hadoop2 namenode高可用

HostName IP Hadoop HBase            Zookeeper Hive node0 192.168.24.159 NameNode HMaster QuorumPeerMain Hive node1 192.168.24.203 NameNode HMaster         / Hive-client node2 192.168.

易水寒 1520

Hadoop高可用安装(HA)

介绍了Hadoop分布式高可用安装

爱做梦的锤子 401

hadoop2.2.0+zookeeper+高可用+完全分布式

1.节点准备 三个节点: master 192.168.1.150 namenode,resourcemanager,datanode,nodemanager,zookeeper,journalnode,dfszkfailovercontroller slave1 192.168.1.151 namenode,datanode,nodemanager,zookeeper,journaln

大数据训练营 7306

B02 - 003、Hadoop、完全分布式、CDH5.14.0 - 2.6.0、离线存储、计算、管理

0、本章学习目录大纲 - 三台虚拟机 初学耗时:0.5h 一、 T01模板回顾。   B01 - 001、搭建一台适应大数据环境的CentOS7.6的虚拟机模板、T01     1.1  搭建虚拟机。     1.2  安装CentOS7.6。     1.3  配置联网,更改IP。     1.4  登录虚拟机终端。     1.5  关闭防火墙。     1.6  关闭Selinux。   ...

吾心持剑,剑锋披靡 507

hadoop学习路线图

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。而对于hadoop的学习是大数据学习中的重要一个环节,于是乎有很多人想要知道hadoop学习路线图。 大致的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安...

程序员日常 6008

Hadoop 2.8.5 完全分布式HA高可用安装(二)--环境搭建

文章目录概述集群规划安装ZK安装验证安装配置Hadoop集群配置Hadoop环境变量hadoo-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlopt文件下创建对应文件夹将Hadoop拷贝到其他几台机器启动Hadoop启动ZK启动journalnode格式化namenode格式化zk启动主namenode备用NN 同步主NN信...

刘本龙的专栏 2429

CentOS7.5搭建Hadoop2.7.6完全分布式集群

一 完全分布式集群搭建 Hadoop官方地址:http://hadoop.apache.org/ 1  准备3台客户机 1.2 关闭防火墙,设置静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host。...

Frank409167848的博客 4198

搭建Hadoop完全分布式高可用集群

搭建Hadoop完全分布式高可用集群 此文以Hadoop 3.2.2版本为例! 如未指定,下述命令在所有节点执行! 系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS 节点角色 Master1 master1 2C/4G ens33 128G 192.168.0.11 CentOS7 NameNode、ResourceManager、DFSZKFailoverController Master2 master2 2C/4G ens33 128G 192.16

mengshicheng1992的博客 536

zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用(HA)集群

摘要: 本文档介绍了基于Centos7的Hadoop集群的搭建过程,在借鉴别人文章的基础上和自己的试验,扩展总结了Hadoop的基础知识和项目的搭建流程。部署了两个master节点和三个salve节点的Hadoop高可用集群,在master和slave主机上配置了HDFS(hadoop分布式文件系统)、HBase(集群数据库)以及Zookeeper(集群维护服务),同时详细给出部署过程和测试结果。并对部署过程中遇到的bug进行记录。 1 关于集群 1.1 Hadoop是什么 Hadoop是由java

sara的博客 3204
上一篇: hadoop_1_完全分布式
下一篇: hadoop SecondNamenode
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值