Hadoop 基础知识 -- 知乎

Hadoop基础知识总结 Hadoop概述 Hadoop这个单词本身并没有什么特殊的含义,而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。 Hadoop是一个高可靠的(reliable),规模可扩展的(scalable),分布式(distributed computing)的开源软件框架。它使我们能用一种简单的编程模型来处理存储于集群上的大数据集。 Hadoop是Apache基金会的一个开源项目,是一个提供了分布式存储和分布式计算功能的基础架构平台。可以应用于企业中的数据存储,日志分析,商业智能,数据挖掘 阅读详情

知乎

Unix与类Unix系统的区别是开源免费还是闭源收费

Hadoop MapReduce框架的目标

处理PB级别的数据,具有高可用,目标明确,编程模型简单易用等特点。MapReduce提供了多种以HBase为数据源或目标数据库执行的方法。

MapReduce被设计为在可扩展的方式下解决超过TB级数据处理过程中的问题。应当有一种方法可以建立一个性能随机器数增加而线性提升的系统,这既是MapReduce努力要做到的。它遵守分治原则,通过将数据拆分到分布式文件系统中的不同机器上,让服务器(CPU或新式内核)能尽快直接访问和处理数据。这种方法的问题是用户最终需要合并全局结果。同样,MapReduce为解决这个问题将其内置了。

 

 

HBase和Hadoop都是Java编写的。

HBase过滤器的目的

HBase过滤器本来的目的是为了筛掉无用的信息,被过滤掉的信息不会被传送到客户端。过滤器不能用来指定用户需要哪些信息,而是在读取数据的过程中不返回用户不想要的信息。

 

HBase如何与Hadoop文件系统协作完成数据存储的?

HBase如何透明地操作存储在HDFS上文件的概览。

从这张图可以看出HBase主要处理两种文件:一种是预写日志(Write-Ahead Log,WAL),另一种是实际的数据文件。这两种文件主要有HRegionServer管理。在某些情况下,HMaster也可以进行一些底层的文件操作。当存储数据到HDFS中时,用户可能注意到实际的数据文件会被切分成更小的块。也正是这一点,用户可以配置系统来更好地处理较大或较小的文件。

一个基本的流程是客户端首先联系Zookeeper子集群(quorum)(一个由Zookeeper节点组成的单独集群)查找行键。上述过程是通过Zookeeper获取含有-ROOT的rgion服务器名(主机名)来完成的。通过含有-ROOT的region服务器可以查询到含有.META.表中对应的region服务器名,其中包含请求的行键信息。这两处的主要内容都被缓存下来了,并且都只查询一次。最终,通过查询.META.服务器来获取客户端查询的行键数据所在region的服务器名。

一旦知道了数据的实际位置,即region的位置,HBase会缓存这次查询的信息,同时直接联系管理实际数据的HRegionServer。所以,之后客户端可以通过缓存信息很好地定位所需的数据位置,而不用在此查找.META.表。

启动HBase时,HMaster负责将所有region分配到每个HRegionServer上,其中也包括特别的-ROOT-和.META.表。

HRegionServer负责打开region,并创建对应的HRegion实例。当HRegion被打开后,它会为每个表的HColumnFamily创建一个Store实例,这些列族是用户之前创建表时定义的。每个Store实例包含一个或多个StoreFile实例,它们是实际数据存储文件HFile的轻量级封装。每个Store还有其对应的一个MemStore,一个HRegionServer分享了一个HLog实例。

HBase的写路径

当用户向HRegionServer发起HTable.put(Put)请求时,其会将请求交给对应的HRegion实例来处理。第一步是决定数据是否需要写到由HLog类实现的预写日志中。WAL是标准的Hadoop SequenceFile,并且存储了HLogKey实例。这些键包括序列号和实际数据,所有在服务器崩溃时可以回滚还没有持久化的数据。

一旦数据被写入到WAL中,数据就会被放到MemStore中。同时还会检查memstore是否已经满了,如果满了,就会被请求刷写到磁盘中去。刷鞋请求由另外一个HRegionServer的线程处理,它会把数据写成HDFS中的一个新HFile。同时也会保存最后写入的序号,系统就知道哪些数据现在被持久化了。

关闭前预刷写

Memstore被刷写到磁盘的第二个理由是:预刷写,当region服务器被要求关闭时,会数先检查memstore,任何大于配置值hbase.hregion.preclose.flush.size(默认值为5MB)的memstore会刷写到磁盘,然后在最后一轮阻塞正常访问的刷写后关闭region。

另一方面,关闭region服务器会强制所有的memstore被刷写到磁盘,而不会关系memstore是否达到了配置的最大值,可以使用配置项hbase.hregion.memstore.flush.size(默认值为64MB)或者通过创建表来进行设置。一旦所有的memstore都被刷写到了磁盘,region会被关闭,且在转移到其他region服务器时不会重做WAL。

HBase存储文件的块与Hadoop的块之间是否有匹配关系?

在HDFS中,文件的默认块大小是64MB,这个是HFile默认块大小的1024倍。因此,HBase存储文件的块与Hadoop的块之间没有匹配关系。事实上,这两种块之间根本没有相关性。HBase把它的文件透明地存储到文件系统中,而HDFS也使用块切分文件仅仅是一个巧合,并且HDFS不知道HBase存储的是什么,它只能看到二进制文件。

 

HBase中日志是用来做什么的?          

日志是用来保证数据安全的。

 

什么是高表和宽表?

高表:列少行多

宽表:列多行少

 

 

HBase与Hadoop各自的处理场景

HB

Hadoop怎样处理数据? Hadoop在大数据平台的开发上,无疑是很多企业的第一选择,国内的华为、阿里、腾讯,国外的Facebook、亚马逊,都是基于Hadoop来开发自己的大数据平台,这也说明,Hadoop作为大数据平台是比较成熟可靠的。而Spark,采取的是内存计算,允许将数据载入内存作反复查询,此外还融合数据仓库,流处理和图形计算等多种计算范式,Spark构建在HDFS上,能与Hadoop很好的结合。Storm呢,主要用于大型数据流的分布式实时计算,与Hadoop结合,为Hadoop带来了可靠的实时数据处理能力。 阅读详情

相关推荐

Hadoop基础知识入门

随着大数据时代的到来,企业和组织每天都在生成、采集和处理海量数据。传统的关系型数据库和单体式处理模型难以应对数据规模和复杂度的迅速增长。Apache Hadoop正是在此背景下应运而生,成为处理大规模数据的核心技术之一。Hadoop是由Apache基金会支持的开源大数据处理框架,其核心目标是实现对海量数据的分布式存储与处理。通过将数据分散到多台节点并行处理,Hadoop能够在计算资源上横向扩展,同时提供可靠性和容错能力。

MNBcix的博客 1098

Hadoop 相关介绍

目录一、Hadoop介绍二、Hadoop 架构1、 Hadoop 1.x 架构2、Hadoop 2.x 3.x 架构三、HDFS介绍1、HDFS架构2、HDFS 特点四、 Hadoop 之 MapReduce 初体验1、使用上述的测试包, 计算圆周率2、使用上述的测试包, 进行词频统计1. Hadoop之父:道格 卡丁 (Doug Cutting)2. 吉祥物: 大象3. Hadoop 解释: 狭义解释:指的是HDFS、MapReduce、Yarn等框架.

m0_72023411的博客 1660

[完]基于Hadoop的数据仓库Hive 基础知识

Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定

无名的博客 2万+

Hadoop之MapReduce基础知识

Hadoop之MapReduce基础知识 一、MapReduce的概念 ​ MapReduce是一个处理海量数据的分布式计算框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 二、MapReduce的优缺点 优点: MapReduce易于编程 良好的扩展性 高容错性 适合PB级别的海量数据的离线处理分析 缺点: 不擅长实时计算 不擅长流式计算 不擅长DAG(有向图)计算 三、MapReduce的核心思想(Map和Reduce) job(作业):一个MapReduce程序称为一个job

Yubingx的博客 913

Hadoop基础知识

1.大数据技术架构 2.大数据特点:海量性(volume)、多样行(variety)、高速性(velocity)、价值性(value)。 3.大数据的计算模式:批处理计算(mapreduce)、查询分析计算(hive)、流计算(spark、storm) 、图计算。 主要分两大类:离线计算(如mapreduce)、实时计算(如 spark、storm)。 4.Hadoop框架 hadoop是一个高可靠、可伸缩的分布式计算框架。用于大数据存储 (HDFS)、计算(MapReduce)、分析的.

小楼秋风 312

基于Hadoop的数据仓库Hive基础知识

目录 一、概述 1.1数据仓库概念 1.2传统数据仓库的问题 1.3 Hive 1.4 Hive与 Hadoop生态系统中其他组件的关系 1.5 Hive与传统数据库的对比 1.6 Hive的部署和应用 二、Hive系统架构 三、Hive工作原理 3.1 SQL 语句转换成 MapReduce 作业的基本原理 3.2 Hive中 SQL查询转换成 MR作...

给我一点温度 1253

《Hadoop系列》Docker安装Hadoop

1.安装docker 2.docker安装Hadoop

https://blog.datasource.space 7503

Hadoop介绍:什么是Hadoop?了解Hadoop的应用

Hadoop是一个功能强大、灵活多变的大数据处理框架,它在许多领域都有着广泛的应用前景。随着技术的不断发展和完善,Hadoop将继续为企业和组织提供高效、可靠的大数据解决方案。

qq_74350135的博客 4196

Hadoop系列(一)Docker部署Hadoop集群

搭建一个Hadoop集群环境时需要多台服务器,对于我们个人,这通常是个门槛,需要使用虚拟机,安装操作系统,然后运行起来多个虚机。 安装操作系统是个不太轻松的任务,并且运行多个虚机对个人电脑性能也有一定要求,这些门槛影响了很多小伙伴的实践积极性 使用Docker的话就简单了,不用安装操作系统,直接下载一个镜像,如centos,这样操作系统就有了,基于这个系统镜像运行多个容器,就相当于起了多个虚机...

淡淡的倔强的博客 1万+

基于Hadoop的数据仓库Hive 基础知识

Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,可通过HQL语句实现简单的MR统计,Hive将HQL语句转换成MR任务进行执行。 Hive是基于hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQ...

YUSDook的博客 2129

Hadoop入门系列(二)idea配置hadoop开发环境

主要分两部分:一、idea配置hadoop开发环境。二、idea安装hadoop插件。一、1.为了便于各个版本的hadoop获得对应jar包以及其依赖jar包。搭建maven项目是个很好的选择。创建一个无原型的maven项目。2.在porn.xml的project内添加镜像网站和一些需要依赖的核心jar包。注意:版本号对应自己hadoop的版本号。有些通用包比如hadoop-core,在maven...

_DrZ_的博客 2万+

与 Hadoop 对比,如何看待 Spark 技术? - 知乎1

与 Hadoop 对比,如何看待 Spark 技术? - 知乎1

Python:同花顺全数据接口

# -*- coding: utf-8 -*- from iFinDPy import * from datetime import datetime import pandas as pd import time as _time import json from threading import Thread,Lock,Semaphore import requests sem = Semaphore(5) # 此变量用于控制最大并发数 dllock = Lock() #此变量用来控制实时行情推

代码过客 4万+

Informer复现 -- 完整模型

有了数据和核心的ProbAttention,接下来就可以复现完整的Informer(图1)了。图1:Informer模型结构[1]如果对图1还不太熟悉的同学,可以参考图2。由图2可知,informer与Transformer之间的差异并不大。主要区别是ProbAttention和可能的encoder最后一层的conv(源代码中用来distil)。图2:参考Transformer画的Informer模型结构。

AI_daily的博客 3494

YOLOv11多模态融合实战:基于YOLOFuse的RGB与红外线(IR)协同检测技术解析

本文深入解析了YOLOv11多模态融合技术,重点介绍基于YOLOFuse框架的RGB与红外线(IR)协同检测方法。通过动态权重分配、跨模态特征对齐等创新设计,实现在低光照等复杂环境下的高精度目标检测,mAP提升高达37%。文章包含实战案例、训练技巧和部署方案,为计算机视觉开发者提供完整的多模态融合解决方案。

weixin_29038345的博客 296

2025华为OD面试手撕代码真题目录及面试八股文

本专栏更新每年华为OD机试的高频手撕代码题,每个题目都会使用五种语言进行解答(C & C++& Java & Python & JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2024e卷,od机试,2024E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2024华为od,如何备

KJ.JK 5万+

【零基础入门unity游戏开发——unity通用篇12】导入导出unity资源包、设置编程工具、创建脚本(组件)规则、MonoBehaviour基类介绍、脚本模板(基于unity6开发介绍)

导入导出unity资源包、设置编程工具、创建脚本(组件)规则、MonoBehaviour基类介绍、脚本模板(基于unity6开发介绍)

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 765

【EMC专题】为什么芯片规格书ESD性能中看不到MM(机器放电模型)

器件级ESD包括三种类型,HBM人体放电模型、MM机械放电模型和CDM元件充电模型。但在芯片规格书中为什么只见到HBM模型与CDM模型,却没有看到MM模型的数据?

一点硬件 455

uniapp - [微信小程序 | 安卓苹果app] 详细实现接入天地图完整流程,提供显示地图、IP 属地定位 / 用户定位的城市名称、用户定位的经纬度超多功能(复制运行示例代码,详细注释及常见问题)

uni-app,微信小程序,安卓app,苹果app,App端,支付宝小程序,nvue,天地图,国家天地图api,接入使用天地图,uniApp小程序端接入天地图,uniapp安卓苹果app端接入天地图,微信小程序平台如何引入天地图,天地图Api使用教程,如何在uniapp里集成天地图,使用天地图获取当前定位,天地图api教程,天地图官方文档,天地图详细使用教程,Uniapp项目如何使用天地图,项目引入天地图配置及使用教程,使用天地图获取用户定位,天地图获取用户当前位置信息(经纬度),如何通过天地图拿到用户定位

🏆 前端领域优质创作者 1万+

【STK】手把手教你利用STK进行导弹和反导仿真04 - STK/MMT模块04 导弹飞行工具应用案例

(6)打开STK,导出的范围轮廓以我们定义的Iran区域目标不同的颜色显示,并将以对象浏览器中定义为区域目标。最后将生成的轨迹导出到STK进行显示和分析。(12)在场景中新创建两个Target,将它们命名为Target1和Target2,并将他们放置在发射的Launch的射程范围之内。(2)在STK中插入AreaTarget对象,在“插入STK对象”工具中,选择“区域目标”对象类型和“选择国家/地区”当前在“飞行列表”窗口中选择的飞行路径将显示较大的启动和目标图图标,并带有较粗的带注释的连接线。

weixin_44184852的博客 1704

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

上一篇: Hadoop 基础知识---之MapReduce篇
下一篇: Docker
bigdata_player
博客等级 码龄10年 6粉丝 1原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值