hadoop知识点总结

最新推荐文章于 2023-08-04 17:25:24 发布
原创 最新推荐文章于 2023-08-04 17:25:24 发布 · 389 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。


HDFS
读流程
filesystem类是一个抽象类，其实现类是distributedfilesystem，打开文件时调用其open方法，DFSclient通过rpc协议获取namenode的代理对象，得到块的信息，返回FSdatainputstream对象，通过其read方法连接到datanode读取数据，数据读取完毕时关闭FSdatainputstream。
写流程
写入文件时调用create方法，DFSclient通过rpc协议获取namenode的代理对象，创建块的信息，返回FSdataoutputstream对象，通过其write方法将数据分成数据包并写入datanode的pipeline，数据从一个datanode传输到另一个，当数据写入完成后返回确认信息，然后进行下一个块的写入，所有数据写入完成后关闭FSdataoutputstream。


MR
shuffle原理、优化
优化环形内存缓冲区大小、阈值、排序文件时的个数（减少对磁盘的读写）、reduce端并行拷贝的数量。

map、reduce数目
map数目由inputsplit的数目决定，在getinputsplit中会以默认的块大小128m对文件进行逻辑分割，产生一个个的inputsplit，可以通过修改splitsize控制产生的数目，可以通过FileInputFormat.setMinInputSplitSize或者FileInputFormat.setMaxInputSplitSize来设置。

reduce数目由分区数确定，默认为一个分区，当需要多个分区时，可以设置setNumReduceTasks，并重写getPartition方法。

yarn
job提交过程


Hadoop知识点总结！！！
super-yong的博客
10-10 1312
没什么好解释的，纯粹的干货分享。。。 Hadoop：     1.Hadoop的四大模块:         1.common:基础模块，用于支撑其他模块         2.mapruedce：分布式计算框架         3.YARN：分布式资源调度框架         4.HDFS：分布式文件系统              2.端口：         1.HDFS：8082 webUI端口...
Hadoop知识总结
2301_81511666的博客
04-27 1023
1.1什么是Hadoop：Hadoop是一个开源的、可靠的、可伸缩的、用于处理大数据的分布式计算框架。1.2常见的知识点概括：Hadoop HDFS（Hadoop Distributed File System）：Hadoop集群中的存储系统，用于大数据的分布式存储。Hadoop MapReduce：Hadoop的原始计算模型，用于并行处理大量数据。Hadoop YARN（Yet Another Resource Negotiator）：Hadoop集群中的资源管理系统，用于管理集群中的计算资源。
Hadoop知识点大全
默主归沙的博客
03-27 3321
一、大数据的概述 1、大数据的概念和特征(重点) --1. 概念： 海量数据，数据种类多样化，增长速度块，无法使用常规分析管理工具进行管理的数据集合 --2. 特征(4V) volume: 巨大的数据量 variety: 数据种类多样化 --结构化的数据 --半结构化的数据 --非结构和的数据：网页，视频，音频等，占现在数据量的90% volecity: 增长速度块 value: 价值密度低 2、大数据的应用前景 --1.应用案例 预测犯罪，城市规划，远程医疗，预测选举...
Hadoop基础知识总结
fengyi0312的博客
09-18 2516
Hadoop概述 Hadoop这个单词本身并没有什么特殊的含义，而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。 Hadoop是一个高可靠的(reliable)，规模可扩展的(scalable)，分布式(distributed computing)的开源软件框架。它使我们能用一种简单的编程模型来处理存储于集群上的大数据集。 Hadoop是Apache基金会的一个开源项目，是一个提供了分布式存储和分布式计算功能的基础架构平台。可以应用于企业中的数据存储，日志分析，商业智能，数据挖掘
大数据——Hadoop 知识点整理
Vicky_Tang
09-07 9625
1. 大数据的特点（4V特征） Volume(大数据量)：90% 的数据是过去两年产生 Velocity(速度快)：数据增长速度快，时效性高 Variety(多样化)：数据种类和来源多样化 结构化数据、半结构化数据、非结构化数据 Value(价值密度低)：需挖掘获取数据价值 2. 谈谈 Hadoop 的优缺点 优点： 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点 高可靠性：Hadoop底层维护多个数据副本 高容错性：Hadoop框架能够自动将失败的任务重新分配 低成本：Had
Hadoop知识点总结
Amzmks的博客
08-04 1145
Spark是一种通用的大数据处理框架，它提供了比MapReduce更高级的计算模型，如RDD和DataFrame，以及丰富的计算库，如MLlib和GraphX。使用Spark作为Hive的计算引擎可以实现内存级的计算，大大提高了查询速度，特别是对于迭代式的数据处理任务。每个队列都有固定的资源容量，当队列的资源没有被完全使用时，空余的资源可以被其他队列动态抢占。然而，由于它的计算模型相对固定，且每个任务都需要读写磁盘，因此在处理复杂查询和交互式查询时，性能可能不尽如人意。
hadoop 知识点总结
dxj_100的博客
01-06 290
1、简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好。 1) 安装JDK并配置环境变量（/etc/profile） 2) 关闭防火墙 3) 配置hosts文件，方便hadoop通过主机名访问（/etc/hosts） 4) 设置ssh免密码登录 5) 解压缩hadoop安装包，并配置环境变量 6) 修改配置文件（$HADOOP_HO
Hadoop知识点总结（一）
博客&brz
09-28 3852
HADOOP hadoop的概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 它主要有以下几个优点： 高可靠性:Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性:Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 ...
Hadoop(HDFS)知识点总结
serendipity
02-05 944
第1章 HDFS概论 1.1 HDFS产生背景及定义 1.1.1 HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理堕胎机器上的文件， 这就是分布式文件管理系统；HDFS只是分布式文件管理系统中的一种 1.1.2 HDFS定义 HDFS(Hadoop Distributed F...
hadoop知识点
最新发布
04-01
### Hadoop核心技术概念与知识点总结 #### 1. Hadoop版本及其核心组件 Hadoop分为多个版本，其中Hadoop 1.x 和 Hadoop 2.x 是两个重要的阶段。 - **Hadoop 1.x 组成**: 主要由HDFS (分布式文件系统) 和 MapReduce (离线并行计算框架) 构成[^1]。 - **Hadoop 2.x 组成**: 在原有基础上增加了YARN (Yet Another Resource Negotiator)，负责作业调度与集群资源管理。 #### 2. 各核心组件的功能描述 - **HDFS (Highly Distributed File System)**: 提供高可靠性、高吞吐量的分布式文件存储能力。其架构为主从模式，主节点为NameNode，从节点为DataNode[^2]。 - NameNode 负责管理元数据以及维护整个文件系统的命名空间。 - DataNode 则负责实际的数据块存储和读取操作。 - **MapReduce**: 这是一个编程模型，用于大规模数据集的并行处理。它通过Map(映射)和Reduce(规约)两个阶段完成复杂的计算任务。 - **YARN**: 它引入了全局资源管理和调度机制，使得同一个集群上能够运行多种不同类型的应用程序而无需担心资源争抢问题。 - **Common**: 此模块包含了支持上述三个主要子项目所需的通用库和其他实用工具函数集合。 #### 3. 集群初始化过程中的重要变化 首次启动Hadoop集群时会发生如下几个显著的变化： - Datanodes会在指定路径`${hadoop.tmp.dir}/dfs/data`下创建用于存放数据块的实际物理位置； - Namenode将在`${hadoop.tmp.dir}/dfs/name`目录新增一个名为edits的日志文件用来记录所有的修改动作； - 整个环境中还会自动生成logs文件夹来追踪各个守护进程的状态信息以便后续排查可能存在的异常情况[^3]。 #### 4. 文件读写的内部工作流程 对于客户端(Client)而言，在HDFS之上执行任何关于数据的操作都遵循特定的原则——要么是从远程获取已存在资料副本(read), 要么就是向目标地址上传新素材(write)[^4]: - 当进行写入(write)活动期间,HDFS会先将待传输的大规模文档分割成为若干个小片段(blocks); 接着这些碎片会被复制多份分散存放到不同机器上面以增强容错性和可用度. - 对于检索行为来说，则是依据预设好的寻址策略定位到具体哪个Datanode持有请求的目标区块(Block)，之后再逐步拉回所需部分直至全部下载完毕为止. #### 5. 名称节点(NameNode)的关键职责 Namenode承担起协调整个体系运转的核心角色之一，主要包括但不限于以下几个方面的工作内容: - 维护文件同它们所对应的磁盘分区列表之间的关联性(file-block mapping); - 记录哪些具体的服务器实例正保管着每一个独立单元(block instance)(data-node block mapping). 上述两项联系分别被持久化至fsimage静态镜像快照以及动态更新增量日志edit logs之中; 只有当服务重启之时才会重新加载进内存环境里去.[^5] ```python # 示例代码展示如何连接HDFS并列出根目录下的所有文件 from hdfs import InsecureClient client = InsecureClient('http://localhost:9870', user='hadoop') files = client.list('/') print(files) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值