Hadoop

Hadoop概念以及架构介绍 Hadoop入门介绍入门学习 阅读详情

hadoop优势:

高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。

高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

高容错性:能够自动将失败的任务重新分配。

HDFS:

HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。

适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

组成:

NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。

DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。

优点:

1)高容错性

➢ 数据自动保存多个副本。它通过增加副本的形式,提高容错性。

➢ 某一个副本丢失以后,它可以自动恢复。

2)适合处理大数据

➢ 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;

➢ 文件规模:能够处理百万规模以上的文件数量,数量相当之大。

3)可构建在廉价机器上,通过多副本机制,提高可靠性。

缺点:

1)不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。

2)无法高效的对大量小文件进行存储。

➢ 存储大量小文件的话,它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的,因为NameNode的内存总是有限的;

➢ 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。

3)不支持并发写入、文件随机修改。

➢ 一个文件只能有一个写,不允许多个线程同时写;

➢ 仅支持数据append(追加),不支持文件的随机修改。

shell:

-moveFromLocal:从本地剪切粘贴到HDFS

-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去

-put:等同于copyFromLocal

-appendToFile:追加一个文件到已经存在的文件末尾

-copyToLocal:从HDFS拷贝到本地

-get:等同于copyToLocal,生产环境更习惯用get

-setrep:设置HDFS中文件的副本数量

MapReduce:

MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。

MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop 集群上。

MapReduce 将计算过程分为两个阶段:Map 和 Reduce

1)Map 阶段并行处理输入数据

2)Reduce 阶段对 Map 结果进行汇总

优点:

1)MapReduce 易于编程

它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的 PC 机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。就是因为这个特点使得 MapReduce 编程变得非常流行。

2)良好的扩展性

当你的计算资源不能得到满足的时候,你可以通过简单的增加机器来扩展它的计算能力。

3)高容错性

MapReduce 设计的初衷就是使程序能够部署在廉价的 PC 机器上,这就要求它具有很高的容错性。比如其中一台机器挂了,它可以把上面的计算任务转移到另外一个节点上运行,不至于这个任务运行失败,而且这个过程不需要人工参与,而完全是由 Hadoop 内部完成的。

4)适合 PB 级以上海量数据的离线处理

可以实现上千台服务器集群并发工作,提供数据处理能力。

缺点:

1)不擅长实时计算

MapReduce 无法像 MySQL 一样,在毫秒或者秒级内返回结果。

2)不擅长流式计算

流式计算的输入数据是动态的,而 MapReduce 的输入数据集是静态的,不能动态变化。这是因为 MapReduce 自身的设计特点决定了数据源必须是静态的。

3)不擅长 DAG(有向无环图)计算

多个应用程序存在依赖关系,后一个应用程序的输入为前一个的输出。在这种情况下,MapReduce 并不是不能做,而是使用后,每个 MapReduce 作业的输出结果都会写入到盘,会造成大量的磁盘 IO,导致性能非常的低下。

编程:

Mapper:

用户自定义mapper需要继承Mapper类,mapper的输入和输出都是KV对的形式存在。

map()方法写业务逻辑,每个KV对会调用一次map()方法

setup()方法开始执行一次

cleanup()方法最后执行一次

Reducer:

用户自定义reducer需要继承Reducer类,reducer的输入对应map的输出。

reducer()方法写业务逻辑,每个K会调用一次reducer()方法

setup()方法开始执行一次

cleanup()方法最后执行一次

Driver:

提交mapreduce程序到Yarn集群。

InputFormat:

FileInputFormat:

切片机制:

简单的按照文件内容的长度进行切片,切片时不考虑数据集整体,而是对每一个文件进行单独的切片。

切片大小计算公式:(minSize默认为1,maxSize默认为Long.MAX_VALUE)

Math.max(minSize, Math.min(maxSize, blockSize))

获取切片信息:

inputSplit.getPath().getName()

(FileSplit) context.getInputSplit()

TextInputFormat:

TextInputFormat是默认的FileInputFormat实现类。按行读取每条记录。键是存储该行在整个文件中的起始字节偏移量, LongWritable类型。值是这行的内容,不包括任何行终止符(换行符和回车符),Text类型。

CombineFileInputFormat:

用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,在驱动类中设置job.setInputFormatClass(CombineTextInputFormat.class);

虚拟存储切片最大值设置4m
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);

切片机制:

1.虚拟存储过程:将输入目录下所有文件大小,依次和设置的setMaxInputSplitSize值比较,如果不大于设置的最大值,逻辑上划分一个块。如果输入文件大于设置的最大值且大于两倍,那么以最大值切割一块;当剩余数据大小超过设置的最大值且不大于最大值2倍,此时将文件均分成2个虚拟存储块(防止出现太小切片)。

2.切片过程:判断虚拟存储的文件大小是否大于setMaxInputSplitSize值,大于等于则单独形成一个切片,如果不大于则跟下一个虚拟存储文件进行合并,共同形成一个切片。

KeyValueTextInputFormat:

每一行均为一条记录,被分隔符分割为key,value,可以通过再驱动类中设置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPARATOR, "\t");来设定分隔符,默认分隔符是 \t。

NLineInputFormat:

每个map按照行数还划分,切片树=输入文件的总行数/n(向上取整)

键是存储该行在整个文件中的起始字节偏移量,值是这行的内容

Yarn:

Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

组成:

ResourceManager(RM):负责管理整个集群资源(内存、CPU等)

NodeManager(NM):负责管理单个节点服务器资源

ApplicationMaster(AM):负责管理单个任务运行的,任务的监控与容错

Container:容器,相当一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。

Java技术栈 —— Hadoop入门(一)介绍 Java技术栈 —— Hadoop入门(一) 阅读详情

相关推荐

Hadoop详细解析

背景知识 1.1、企业数据部的一般组织结构 企业数据部的一般组织结构,适用于大中型企业。 1.2、企业数据部的业务流程分析 业务流程: 电商业务人员:针对活动专题页(活动的效果)有业务需求 活动页的用户访问数、用户下单数、用户支付数、用户退单数 数据部部门: 数据分析人员(写sql),结果对外提供 ...

woaini886353的博客 3494

Hadoop 简介

Hadoop 生态圈是指围绕 Hadoop 软件框架为核心而出现的越来越多的相关软件框架,这些软件框架和 Hadoop 框架一起构成了一个生机勃勃的 Hadoop 生态圈

qq_40322236的博客 6万+

《Hadoop系列》Docker安装Hadoop

1.安装docker 2.docker安装Hadoop

https://blog.datasource.space 7496

大数据存储技术(1)—— Hadoop简介及安装配置

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。本文介绍Hadoop及其集群的搭建。

Morse_Chen的博客 2万+

Hadoop系列(一)Docker部署Hadoop集群

搭建一个Hadoop集群环境时需要多台服务器,对于我们个人,这通常是个门槛,需要使用虚拟机,安装操作系统,然后运行起来多个虚机。 安装操作系统是个不太轻松的任务,并且运行多个虚机对个人电脑性能也有一定要求,这些门槛影响了很多小伙伴的实践积极性 使用Docker的话就简单了,不用安装操作系统,直接下载一个镜像,如centos,这样操作系统就有了,基于这个系统镜像运行多个容器,就相当于起了多个虚机...

淡淡的倔强的博客 1万+

《Hadoop系列》Hadoop实操记录

1.shell脚本配置伪分布式Hadoop 2.数据直接上传到分区目录上,让分区表和数据产生关联的三种方式

https://blog.datasource.space 2625

【Hadoop】Hadoop 编译源码

Hadoop编译源码

低调做人,低调编码,神码都是浮云 2768

Hadoop入门基础配置——jdk和Hadoop

Hadoop入门基础配置——jdk和Hadoop 版权声明: 本文为博主学习整理原创文章,如有不正之处请多多指教。 未经博主允许不得转载。 https://mp.youkuaiyun.com/postedit/82432180 Hadoop简介: Hadoop一个分布式系统基础构架,由Apache基金会开发(相当于红十字会,里面软件都是免费的)。Hadoop的框架最核心的设计是HDFS(海量的数据提...

qq_42595261的博客 2641

手把手教你在linux中部署hadoop以及hadoop功能介绍

我们在学大数据的时候hadoop是躲避不开的地方,所以如何在linux中部署hadoop,下面就是手把手教你如何部署hadoop。你只要复制粘体,然后按enter键就可以了。准备:安装Linux版本的服务器。

wszhm123的博客 6565

最新版谷歌浏览器Axure插件(免翻墙)

本文介绍了在Chrome浏览器无法直接打开Axure导出HTML文件的解决方法。由于国内网络限制无法访问Chrome商店,需手动下载安装AxureRP扩展插件(提供百度网盘下载链接)。安装步骤包括:1)启用开发者模式;2)拖拽CRX文件或加载解压文件夹;3)勾选"允许访问文件网址"。同时还提示若浏览器版本过低可能无法正常运行,并给出了浏览器升级方法。该教程详细说明了从插件安装到浏览器升级的完整解决方案。

OldCat先生 2981

centos7安装Ambari 2.7.5 + HDP3.1.5

准备 1.安装包准备: Ambari2.7.5、HDP31.5、libtirpc-devel: centos7操作系统: 链接:https://pan.baidu.com/s/1vzvio5rAMsbYF0-0vBs5dw 提取码:xij9

kxq的博客 5093

认识Hadoop

Hadoop由Apache基金会开发, 开源的、可靠的 、可拓展的、用于分布式计算 的分布式系统基础架构或框架。MapReduce是Hadoop的核心计算框架——是用于大规模数据集(大于1TB)并行运算的编程模型,主要包括Map(映射)和Reduce(规约)两个阶段。MapReduce的核心思想是——当启动一个MapReduce任务时,Map端将会读取HDFS上的数据,将数据映射成所需要的键值对类型并传至Reduce端。

TS194919892003的博客 3138

NVIDIA Jetson AGX Xavier设置风扇转速、工作模式及性能监控

Xavier的风扇在开机之后是默认关闭的,每次重启都需要手动打开风扇,后续可能考虑修改bashrc文件进行自动开启 这个是显示当前风扇的转速,默认应该是0,表示关闭,最大是250 cat /sys/devices/pwm-fan/target_pwm 可以通过修改该文件的值来修改风扇转速 vim /sys/devices/pwm-fan/target_pwm 我一般使用的是100这个值 作者:ryan_ren 链接:https://www.jianshu.com/p/d3c2041f7f7d 来源:简书 著

weixin_43877080的博客 1万+

hadoop总结

服务器集群 :单节点,机器最低配置:双核 CPU、8GB 内存、100G 硬盘运行环境: CentOS 7.4服务和组件 :服务和组件根据实验需求安装。

TSTZXRYQ的博客 2695

Arduino Nano + MCP3422A0 ADC 毫欧表:3档分辨率(0.1mΩ-1.3kΩ)开尔文连接实测

本文详细介绍了如何使用Arduino Nano与MCP3422A0 ADC构建高精度毫欧表,采用四线制开尔文连接和三档量程设计,实现0.1mΩ-1.3kΩ的精确测量。通过精密恒流源和18位ADC技术,结合智能量程切换和数字滤波算法,显著提升测量精度和稳定性,适用于电子维修、PCB测试等场景。

weixin_28292761的博客 325

uniapp [全端兼容] - 实现接入集成高德地图搜索地址及选择位置功能,搜索框检索选择地点并返回经纬度及详细省市区县街道地址,用户搜索历史及清空历史记录,选择地址自动获取周边位置列表/地图移动选点

uni-app,高德地图,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,Uniapp高德地图,在地图上选择或搜索指定地点,打开地图选择位置,关联地址搜索,输入地址返回附近地址列表,uniApp高德地图地址搜索,搜索框历史记录,关键字搜索,周边查询,搜索位置,uniapp对接高德实现搜索出现地址以及保存搜索记录,集成高德地图,实现精准位置选点功能,获取当前定位城市,如何实现搜索功能,获取省份城市区街道详细地址经纬度,移动选点标记位置,在地图上进行选择位置选点、搜索

🏆 前端领域优质创作者 1万+

怎么在非 hadoop 用户下启动 hadoop

为了让sudo su - hadoop -c工作,你需要确保hadoop用户具有足够的权限,且能够在不输入密码的情况下执行sudo命令。在脚本中使用su命令时,它通常不会像在终端中直接输入一样生效,因为su是一个交互式命令,需要一个终端来启动一个新的用户会话。42 17 7 5 * /root/hadoop_op.sh 这行代码是一个 cron job(定时任务)表达式,它会在特定的时间执行指定的命令或脚本。如果你希望以hadoop用户身份执行脚本中的命令,最好的方式是使用sudo。

小 tom的博客 1912

【论文复现】水下单光子激光雷达设计 Sequential Multimodal Underwater Single

针对对慢速小水下目标进行远距离、高分辨率重建的需求,单光子激光雷达(LiDAR)目标重建技术的研究正在进行。本文报告了一种基于时空序列融合的顺序多模态水下单光子 LiDAR 自适应目标重建算法,该算法具有强大的信息提取和噪声过滤能力,能够从复杂的回波光子计数和空间像素关系中重建目标的深度和反射强度信息。该方法包括三个步骤:数据预处理、序列优化极值推断滤波以及图像优化协同变分策略,以实现复杂水下环境下的高质量目标重建。

u012133341的博客 293

VMware在hadoop用户下创建hadoop

重新安装hadoop

m0_59865073的博客 2950

OPPO 数据分析面试题及参考答案

如何设计共享单车数据库的各个字段? 对于共享单车的数据库设计,首先考虑用户相关的字段。用户表可以包含用户 ID,这是一个唯一标识符,用于区分不同用户;姓名,记录用户的真实姓名;联系方式,比如手机号码,方便在出现问题时联系用户;注册时间,记录用户何时开始使用共享单车服务;信用分数,用于衡量用户使用共享单车过程中的行为是否合规,比如是否按时归还车辆等。 车辆信息表要有车辆 ID,这是车辆的唯一标识;车辆类型,例如普通单车、电动单车等;投放时间,即车辆投放到市场的时间;车辆状态,包括是否可用(如正

大模型大数据攻城狮的专栏 1186

【实战篇导读】四足机器人运动控制导读

认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长!本文先对四足机器人运动运动控制系统及相关算法做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章主要介绍了波士顿spot机器人的发展历史、四足机器人的硬件系统及电机执行器组成包括硬件系统、关节电机执行器,机载传感器机处理器及电气连接等。概述了四足机器人规划控制、感知、定位及局部地图的相关算法方向。

qq_35635374的博客 680

Hadoop1和Hadoop2和Hadoop3之间的差异

本文将从多个方面详细探讨Hadoop1和Hadoop2和Hadoop3之间的差异,借鉴了某些外国技术博客

数据攻城狮的博客 3307

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

HADOOP的配置

hadoop的配置详解

weixin_52449548的博客 2305

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Hadoop3与Hadoop2及Spark比较

     2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心,其他各种库都依赖它。      在本文中,我们将讨论Hadoop 3与Hadoop 2相比的主要变化。我们还将解释Hadoop和Apache Spark之间的差异,并建议如何...

东语的专栏 7276

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

hadoop 在hadoop集群上执行java程序

1、将java项目打包成jar文件 具体过程这里不解释,在我的另一篇博客 将java程序打包成jar 里,有win系统通过idea打包jar的教程。 2、打开hadoop集群,start-all.sh 3、将jar包传到linux平台上,删除jar包里的.SF .RSA *SF文件

科大人的博客 5156
上一篇: Docker
下一篇: HBase
jisf4296
博客等级 码龄8年 143粉丝 26原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值