Hadoop---在HDFS集群基础上搭建Map/Reduce集群

Hadoop的HDFS和Map/Reduce HDFS HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点: 1)适合存储非常大的文件 2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式 3)适合部署在廉价的机器上 但HDFS不适合以下场景(任何东西都要分两面看,只有适合自己业务的技术才是真正的好技术): 1)不适合存储大量的小文件,因为受Namenode内 阅读详情
1. 硬件 :VMWARE 虚拟机   *  4台,256M内存,20G硬盘
     操作系统:  RHEL_64_5.4
 
2. 基本软件架构部署:
                IP地址               主机名称                              目录                                          功能
    1. 192.168.204.128    master                          /data/ Hadoop /name                        namenode节点
                                                                            /data/hadoop/mapred_local_dir      jobtracker 节点
    2. 192.168.204.129    secondarynamenode    /data/hadoop/namesecondary       secondarynamenode节点

    3. 192.168.204.130     slave01                       /data/hadoop/data01、data02        datanode节点
                                                                           /data/hadoop/mapred_local_dir       tasktracker 节点
    4. 192.168.204.134     slave02                       /data/hadoop/data01、data02        datanode节点
                                                                           /data/hadoop/mapred_local_dir       tasktracker 节点

3. 配置文件
     core-site.sml
    <configuration>
        <property>
                <name> hadoop.tmp.dir </name>
                <value> /data/hadoop/tmp </value>
        </property>
        <property>
                <name> fs.default.name </name>
                <value> hdfs://192.168.204.128:9000 </value>
        </property>
     </configuration>

     hdfs-site.xml
    <configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name> dfs.name.dir </name>
                <value> /data/hadoop/name </value>
        </property>
        <property>
                <name> dfs.data.dir </name>
                <value> /data/hadoop/data01,/data/hadoop/data02 </value>
        </property>
        <property>
                <name> fs.checkpoint.dir </name>
                <value> /data/hadoop/namesecondary </value>
        </property>
    </configuration>
 
      mapred-site.xml
     <configuration>
        <property>
                <name> mapred.job.tracke r</name>
                <value> 192.168.204.128:8021 </value>
        </property>
        <property>
                <name> mapred.local.dir </name>
                <value> /data/hadoop/mapred_local_dir </value>
        </property>
        <property>
                <name> mapred.system.dir </name>
                <value> mapred_system_dir </value>
        </property>
        <property>
                <name> mapred.tasktracker.map.tasks.maximum </name>
                <value> 2 </value>
        </property>
        <property>
                <name> mapred.tasktracker.reduce.tasks.maximum </name>
                <value> 2 </value>
        </property>
        <property>
                <name> mapred.child.java.opts </name>
                <value> -Xmx128m </value>
        </property>
     </configuration>
    
      masters  (secondarynamenode)
     192.168.204.129

     slaves  (datanode 和 tasktracker节点)
     192.168.204.130
     192.168.204.134
     
4. 修改hosts 系统文件
    # vi /etc/hosts
     192.168.204.128         master
     192.168.204.130         slave01
     192.168.204.134         slave02
     192.168.204.129         secondrynamenode
 
     其他诸如ssh配置,各个服务器上的配置文件保持一致等,此处省略。。。。。。。。。。
   
5. 启动hadoop
    1)格式化namenode
          在master服务器上,执行
          # ./hadoop namenode -format
    2)启动hdfs集群
          # ./start-dfs.sh
              正常情况下,
              在master服务器上,将会启动 namenode进程
              在sencondarynamenode服务器,将会启动secondarynamenode进程
              在slave01,slave02服务器上,将会启动datanode进程
              # ps aux | grep java
              /usr/local/jdk1.6.0_26/bin/java -Dproc_namenode -Xmx128m                  (master)
              /usr/local/jdk1.6.0_26/bin/java -Dproc_datanode -Xmx128m                    (slave01)
              /usr/local/jdk1.6.0_26/bin/java -Dproc_datanode -Xmx128m                    (slave02)
              /usr/local/jdk1.6.0_26/bin/java -Dproc_secondarynamenode -Xmx128m  (secondarynamenode)

       3)启动map/reduce集群
            # ./start-mapred.sh
               正常情况下,
               在master服务器上,将会启动 jobtracker 进程
               在slave01、slave02服务器上,将会启动 tasktracker进程
                # ps aux | grep java
                /usr/local/jdk1.6.0_26/bin/java -Dproc_jobtracker -Xmx128m       (master)
                /usr/local/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx128m     (slave01)
                /usr/local/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx128m     (slave02)

          注意查看各个日志文件是否有报错。
           mapred-site.xml 配置文件的参数,查看手册。
hadoop生态圈(一):hadoop集群的搭建 目录 1 hadoop概述 1.1 hadoop是什么 1.2 hadoop的组成 1.2.1 hdfs架构概述 1.2.2 YARN概述 1.2.3 MapReduce架构概述 1.3大数据生态体系 1.4 推荐系统架构图 2 Hadoop集群搭建 2.1 虚拟机环境准备 2.2 安装jdk和hadoop 2.3 集群配置 3 集群启动 3.1 集群单点启动 3... 阅读详情

相关推荐

大数据学习之路----HDFS与Eclipse的搭建----集群外提交

使用Eclipse来充当client来对集群中的文件进行上传下载 一、环境搭建 就像搭建java环境变量一样,在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME 第二我们要配置HADOOP_USER_NAME 这里的名字一定要和虚拟机管理员的名字一...

大数据让未来充满希望 3402

linux搭建hadoop集群及MapReduce使用

本文主要介绍在linux虚拟机上搭建hadoop集群,及MapReduce使用

jkjgj的博客 1564

Hadoop之HDFS

搭建hdfs集群配置文件首先拷贝文件到家目录下面解压zookeeper-3.4.6文件,然后进入到里面的conf目录下,把zooXXXX.cfg文件改名为zoo.cfgvi zoo.cfg编辑文件,dataDir为文件目录,dataDir=/tmp/zookeeper # the port at which the clients will connectclientPort=2181 # th

zhangfengBX的博客 2742

Eclipse编译、Hadoop集群运行MapReduce程序

本文介绍的是如何在Windows中使用Eclipse来开发MapReduce程序,并打包成jar包在已经搭建好的hadoop集群环境上运行。 环境 Windows 7 Hadoop 2.7.3 Eclipse Mars Release (4.5.0) 安装Hadoop-Eclipse-Plugin 由于Windows系统下配置JDK环境和Eclipse的安装比较简单,所以此处省略其安装步骤。 ...

风信子 2646

Hadoop集群配置及MapReduce开发手册

Hadoop集群配置及MapReduce开发手册

搭建Hadoop集群,写mapreduce程序处理数据

搭建了一个完全分布式Hadoop集群,并通过Java写了mapreduce程序处理数据,需要下载的可以找我要具体数据。

Hadoop集群搭建及MapReduce应用

Hadoop集群搭建及MapReduce应用 一、Hadoop集群的搭建与配置1、节点准备集群规划:主机名 IP 安装的软件 运行的进程weekend 01 192.168.1.60 jdk、hadoop NameNode、DFSZKFailoverControllerweekend 02 192.168.1.61 jdk、hadoop NameNode、D...

DB2_c的博客 517

Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc

本人亲手操作搭建Hadoop集群成功,并通过Eclipse进行MapReduce程序的开发,步骤详细完整,在相关过程中配有完整代码和解释,全程无误,只需复制粘贴即可,小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行MapReduce程序开发!!!喜欢请关注本人空间动态,并会一直更新相关大数据资源和文章,谢谢!

Hadoop自测题及参考答案

单选题 1、与其他几项不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN 注:其他几项都是资源统一管理系统或者资源统一调度系统,而 Mongodb一种非关系型数据库。 2、[java基础] 以下不属于线程安全的数据结构是 A. HashMap B. HashTable C. CopyOnWriteArrayL

三人行,必有我师焉。 1万+

从零开始安装 Windows 11 和 Ubuntu 22.04 双系统

本文详解Windows与Ubuntu 22.04双系统安装流程:需提前确认BIOS模式(UEFI/GPT或Legacy/MBR),关闭BitLocker加密、设备加密及快速启动;推荐Rufus/Ventoy制作启动盘。安装时需规划分区方案(建议单独划分EFI系统分区),注意引导器安装位置选择。双系统启动通过BIOS引导顺序管理,安装后需同步Windows与Linux系统时间。教程适配主流UEFI+GPT设备,强调操作前数据备份及Windows更新策略调整,避免兼容性问题。

萑澈的博客 3778

蓝桥杯单片机开发实战:Keil环境配置与IAP15F2K61S2头文件设置详解

本文详细讲解了为蓝桥杯单片机竞赛配置Keil开发环境的关键步骤,重点解析了IAP15F2K61S2专用头文件的获取与设置方法。通过使用STC-ISP工具添加芯片型号和头文件,确保编译器能正确识别寄存器,是成功进行单片机编程和竞赛备赛的基础。文中还提供了从软件安装、工程创建到常见问题排查的完整实战指南。

soda5的博客 889

理解Hadoop与HDFS

引入 小明接到一个任务:计算一个100M的文本文件中的单词的个数,这个文本文件有若干行,每行有若干个单词,每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务,小明感觉很轻松。他首先把这个100M的文件拷贝到自己的电脑上,然后写了个计算程序在他的计算机上执行后顺利输出了结果。 后来,小明接到了另外一个任务,计算一个1T(1024G)的文本文件中的单词的个数。再后来,小明又接到一个任务,计算一个1P(1024T)的文本文件中的单词的个数…… 面对这样大规模的数据,小明的那一台.

hxxjxw的博客 8144

图解Self Attention:从输入到输出,一步步拆解QKV计算过程

本文通过图解方式,一步步拆解Self Attention机制中Q、K、V矩阵的计算过程。从输入向量开始,详细阐述了线性变换生成QKV、点积计算注意力分数、Softmax归一化权重以及加权聚合生成新表示的核心步骤,帮助读者直观理解Transformer架构的核心机制。

flink9streamer的博客 729

使用Map-Reduce求各年销售笔数,各年销售总额

python+streaming实验:求各年销售笔数,各年销售总额 实验环境:Linux下用map\reduce处理数据集 实验要求: 一、创建map.py文件,注意要点: 1、对空白行的处理,可判断 line[0] != ‘’ 2、时间数据包含年月日,只需截取年份 3、可以将每行订单数据都算为1笔 4、目标输出格式:年份,数额 二、自行编写reduce.py代码,注意要点 1、可以将数据的行数当成笔数 2、输出时应按年份排好序 3、目标输出格式: 年份,笔数-总额 (总额要求转化成k且保留两位小数,如13

qq_45578279的博客 4505

【基础-多选】HarmonyOS鸿蒙应用开发

1、HarmonyOS提供了基础的应用加固安全能力,包括混淆、加密和代码签名能力。正确2、可以通过ohpm uninstall 指令下载指定的三方库。错误3、支持模块化开发是指一个应用通常会包含多种功能,将不同的功能特性按模块来划分和管理是一种良好的设计方式。在开发过程中,我们可以将每个功能模块作为一个独立的Module进行开发,Module中可以包含源代码、资源文件、第三方库、配置文件等,每一个Module可以独立编译,实现特定的功能。这种模块化、松耦合的应用管理方式有助于应用的开发、维护与扩展。正确。

江拥羡橙的博客 1万+

【异常】Cursor导入Karpathy指南失败解决方案Failed to import GitHub/GitLab rules: Error executing git: Cloning into

摘要:本文解决了Git克隆单个文件报错的问题,指出git clone只能克隆整个仓库而非单个文件。提供了两种解决方案:1) 推荐手动创建规则文件,在Cursor项目中新建.mdc文件并粘贴Karpathy行为指南完整内容;2) 备选克隆整个仓库获取文件。指南包含编码行为规范,强调简单性、精准修改和明确目标。还说明了如何设置全局规则和即时生效的方法。

奶爸的编程之路,也就一周冷个三天 176

Hadoop集群与映射

Hadoop集群是一个由多台计算机组成的分布式系统,用于存储和处理大规模数据集。Hadoop集群主要包括两个核心组件:Hadoop Distributed File System(HDFS)和MapReduce。HDFS提供了高容错性的系统,能够存储海量的数据,而MapReduce则用于大规模数据集的并行处理。首先在Linux虚拟机上要有一个主机,这里我命名为master,通过“右键虚拟机--管理--克隆”的方式创建三个克隆机,修改名字为slave1,slave2,slave3,并修改安装路径。

2302_76827918的博客 2191

Android SurfaceFlinger——概述(一)

对于系统渲染流程的理解是指导 SurfaceFlinger 设计的核心思想,从 Android 4.1 一直到 Android 9.0 都没有太大的变化。只要抓住这五个核心思想,我们阅读 SurfaceFlinger 的难度就会下降不少。下面看一下 SurfaceFlinger 的体系和 Skia 以及 View的绘制流程的关系。framework 面向开发者所有的 View 是便于开发的控件,里面仅仅只是提供了当前 View 各种属性以及功能。

小旭的专栏 2585

Hadoop Map/Reduce 原理

Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞吐量的数据访问,适合存储海量(PB 级)的大文件(通常超过64M),其原理如下图所示:

zlcd1988的专栏 1155

华为od 面试八股文_Python_02_含答案

华为od 面试八股文_Python_02_含答案

MISAYAONE的博客 4539

飞牛NAS1.1.19更新后SSH连不上?两步快速恢复连接

飞牛NAS1.1.19版本更新后SSH无法连接😟,实则是官方安全策略升级默认关闭了该服务,本文分享两步实操配置恢复SSH连接💻,还同步了官方的设备安全配置建议,帮助用户兼顾使用与设备防护🔒。

XiaoqiangClub的博客 2121

【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce

文章目录导学大数据概述初识Hadoop概述核心组件HDFS分布式文件系统资源调度系统YARNMapReduce优势发展史生态系统发行版本选择企业应用案例 导学 开发环境 学做镜像 生态圈 目录 实战 分析客户端登录日志 与spring结合使用 扩展及新技术 大数据概述 场景 足球预判分析人物特性 购物推荐 来源 4v特征 量大、种类多、价值密度低、速度快 技术 采集-存储-分析-可视化 技术架构挑战 量大,无法用结构化数据库,关系型数据库 经典数据库没有考虑数据多类别 比如json 实时性的

瑞新の博客:bennyrhys 4632

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

hadoop的HDFS和map-reduce

此处主要是将HDFS和map-reduce的基本原理写在这儿,免得以后忘记了找不到 HDFS: 大体框架如下: NameNode:记录文件在DataNode的位置信息和元数据信息,类似index,真正的数据存储在DataNode节点 DataNode:存储的管理者,一次写入,多次读取(好处:不需要考虑一致性),将程序划分为许多大小为64M的数据块,分布并冗余存放在各个DataNode节

u014403897的专栏 1284

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

菜鸟的Hadoop学习之路系列<二>:Hadoop集群构成和HDFS

上一篇文章自己动手搭建Hadoop集群中介绍了有三台机器的Hadoop集群的搭建过程,其中提到了服务器结点在Hadoop集群中的一些不同角色。实际上,在Hadoop的集群服务器中运行着一系列有着特殊功能的进程,包括: NameNodeDataNodeSecondary NameNodeJobTrackerTaskTracker

Deadline的技术分享博客 999

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

马士兵hadoop第五课:java开发Map/Reduce(转)

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce 配置系统环境变量HADOOP_HOME,指向hadoop安装目录(如果你...

WGH100817的博客 151
上一篇: Hadoop实战-初级部分 之 Hadoop安装部署
下一篇: zip, tar, tar.gz, tar.bz2, jar,7z等格式文件的压缩和解压方法
SprintfWater
博客等级 码龄15年 242粉丝 139原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值