2-7HDFS读取数据过程（Hadoop系列day02）

最新推荐文章于 2023-05-22 14:11:13 发布
原创 最新推荐文章于 2023-05-22 14:11:13 发布 · 320 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs

本文介绍如何通过 FileSystem 类的 get 方法获取配置信息并使用反射机制创建 DistributedFileSystem 实例。随后通过 initialize 方法初始化 DFSClient 对象，并利用 Hadoop 的代理机制创建代理对象来获取块信息。

首先得到FileSystem类
通过get()方法。（读取配置信息，反射）
构建了一个DistributedFileSystem
调用 initialize()方法,
构建了DFSClient对象，作为DistributedFileSystem的成员变量

DFSClient通过Hadoop的代理机制得到$Proxy代理对象
通过这个代理对象获得块信息

Hadoop系列——企业存储系统概述，HDFS概述day2-2
qq_51553982的博客
10-19 1445
HDFS(Hadoop Distributed File System )，意为:Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。分布式文件系统解决大数据如何存储问题。分布式意味着是横跨在多台计算机上的存储系统。HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非常适于存储大型数据（比如TB和PB)。
hadoop离线day03--Hadoop HDFS
weixin_54527017的博客
05-25 877
hadoop离线day03--Hadoop HDFS 目录 hadoop离线day03--Hadoop HDFS 今日内容大纲 Apache HDFS入门 概念 HDFS重要特性 分块存储 副本机制 HDFS shell操作 命令 shell常见命令操作 文件限额操作 相关的命令 HDFS工作机制 读写流程图见画图。 NameNode与DataNode通信机制 HDFS Java API 核心类 HDFS辅助工具 跨集群复制数据 distcp（distributed
小程序填坑之路—读取用户信息、缓存其数据、读取其数据（button、wx.setStorage、wx.getStorage）
ansheng02的博客
09-14 6512
        深深以为，遇见一个好的文章不容易，希望自己也能用心填坑。         首先来说读取用户信息，之前是用getUserInfo()，但在2018年4月30日之后，该接口不适用于开发版和测试版，正式上线的小程序不受影响。很不幸，我就是4月30后后的这批。出于优化用户体验（我真的不是自己想省事。。。），用了这个方法，测试的时候，提示“该接口不适用，请升级。”好的吧，就这样我开始在网上...
hadoop源码 - HDFS write流程分析(Hadoop2.0)
Mrknowledge
04-30 1783
Write操作是HDFS最基本的操作之一，一般是先create一个文件然后write内容。这篇文章主要讲用户调用FileSystem APT向HDFS写入数据时，HDFS是怎么工作的。 1，client发起create请求。 通过DistributedFileSystem.create()方法创建文件，其实就是通过DistributedFileSystem内部wrapper的DFSClient
2-3HDFS原理（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-24 336
hdfs架构Metadata–>元数据元数据信息， 内存保留一份，磁盘保留一份 （为了快速读取，保存在内存； 为了防止丢失，序列化到硬盘一份）元数据存储细节元数据存储细节： 文件名，几个副本，分成几块，每块存放在哪台主机上 namenode是啥 namenode维护文件路径树。接收客服端请求。操作datanodefsimage:元数据镜像文件（内存中的元数据序列化到磁盘上的文件）NameNo
2-1.HDFS原理（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 323
思考：自己设计一份分布式文件系统hdfs有两种角色： namenode， datanode. (secondarynamenode先不考虑)一个namenode，多个datanode。 namenode相当于仓库管理员，维护自己的一个账本datanode相当于仓库，负责存储数据client相当于送货员a.log:100M 货物 客户端向namenode发送一个上传数据的请求 name
3、Druid的load data 示例（实时kafka数据和离线-本地或hdfs数据）
alanchanchn的专栏
05-22 7万+
index-metrics-kafka.json 文件中。
Hadoop学习--AP读取HDFS数据--day04
weixin_33966365的博客
01-03 95
import java.io.ByteArrayOutputStream;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apac...
Hadoop系列——Hadoop练手、压测day2-2
qq_51553982的博客
10-12 1575
执行完后我们在监视页（端口:8088,如：http://node1:8088/cluster）也可以看到。Hadoop本质上就是一个文件系统，所以他是有目录树的，可以分目录，主要用于对大文件进行处理。由于yarn管理程序执行的运算资源，所以MapReduce需要首先对yarn进行访问。可以发现统计的话是按照一行一行进行计算统计的。我们可以稍微修改一下word.txt再此尝试。我们将电话和传真都改成一样之后发现。然后上传到hadoop上。可以看到已经上传上去了。执行成功后我们可以看到。
3 Hadoop-HDFS
PhoenixLuo·的博客
04-04 1241
目录 3.1 Apache版本Hadoop重新编译 3.1.1 为什么要编译Hadoop 3.1.2 编译环境的准备 3.2 Hadoop安装 3.2.1 上传apache Hadoop包并压缩 3.2.2 修改配置文件 3.2.3 配置Hadoop的环境 3.2.4 启动集群 3.3 Hadoop核心-HDFS 3.3.1 HDFS概述 3.3.2 HDFS应用场景 适合的应用场景 不适合的应用场景 3.3.3 HDFS架构 3.3.4 NameNode和DataNode
3.SparkStreaming-读取hdfs文件
qq_50166024的博客
12-05 638
package com.qf.sparkStreaming.day01 import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} /** * 注意： * 该这个：context.textFileStream("hdfs://qianfeng01:8082/streami
Hadoop（2）—— HDFS（2）—— shell采集数据到HDFS(有亿点bug需要解决)
weixin_54348877的博客
10-12 2881
通过编写shell脚本，用于采集服务器上的日志文件，并将海量日志上传至HDFS中。 1. 准备工作：创建以下目录、创建日志文件 1.1创建目录 输入：mkdir –p /export/data/logs 输入：mkdir –p /export/data/logs/log （存放日志） 输入：mkdir –p /export/data/logs/toupload （存放待上传文件） 验证创建： 输入：cd /export/data/logs 输入：ls 1.2创建日志文...
1-5.将Hadoop添加到环境变量，初始化HDFS,启动Hadoop，测试hdfs（Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 2549
>>将Hadoop添加到环境变量1. [root@itcast01 Hadoop]# vim /etc/profile2. #打开这个文件之后，在文件末尾添加以下代码（上次配置的JDK也在下方写了出来） export JAVA_HOME=/uer/java/jdk1.7.0_60 export HADOOP_HOME=/itcast/hadoop-2.2.0 export PATH =$PATH
2-2.HDFS的shell操作（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 765
oohdfs：建立在Linux系统之上的一个分布式文件系统 通过命令行的方式来操作hdfs查看是否启动Hadoop 关闭Hadoop 单独启动hdfs查看启动的服务查看hdfs根目录查看hdfs根目录（简写）hdfs的管理界面Linux上文件上传到hdfs查看hdfs根目录的某个文件的内容分页查看hdfs根目录的某个文件的内容查看hdfs根目录下文件（包括文件夹中的文件），文件夹（包括文件
2-2.1.Hadoop2.0x HDFS shell命令（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 727
Hadoop2 HDFS shell命令   1. hdfs dfs -appendToFile ...   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [URI ...]   查看文件内容   3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]   修改文件所属组   4.  hdfs df
3-1MR介绍（Hadoop系列day03）
此号已弃用，搬家到：https://my.oschina.net/yust5273
10-22 458
MR是什么MR是一个 分布式计算编程模型Google在2004年提出来MR模型，后来Hadoop借鉴了。我们通过他提供的一些接口和类就可以实现分布式计算。MR解决了海量数据的计算。 （Map并行计算；Reduce汇总） MR概述 用户只要写Map和Reduce的实现就可以了。 MR的输入和输出都是key、value对。 Hadoop1.0时代： MR老大叫JobTracker
1-2.伪分布模式安装步骤（Hadoop系列之day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-19 456
伪分布模式安装步骤 关闭防火墙 修改IP 修改hostname 设置ssh自动登录 安装jdk 安装Hadoop 关闭防火墙如果是对外网提供服务的，当然不能关闭防火墙，容易被别人搞死。 那么Hadoop为什么要关闭防火墙呢？ 因为Hadoop集群一般是公司内部使用。公司内部有多台节点，通信需要占用端口，如果防火墙把那个端口保护起来，就没法进行通信了。/** 如果不想关闭防火墙，那么还有另外一
1-6.测试MR和YARN （Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 417
share目录–存放jar 找到官方的小例子 上传到hdfs 测试 查看日志
3-2MR第一个例子（Hadoop系列day03）
此号已弃用，搬家到：https://my.oschina.net/yust5273
10-23 396
一行数据解析为一个key-value,每个key-value调用一次map方法。启动HDFS、启动YARM（MapReduce运行在YARM上） 边解析，边运行： —并不是把文件内容全加载到内存再执行Map，，，是一边加载，，一边Map client向RM发送一个RPC请求（client告诉RM他要提交一个作业） RM返回给client一个JobId和一个存放jar包的路径
1-1.什么是Hadoop（Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-18 392
一：简介*1. 什么是Hadoop* What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.根据Hadoop官网介绍。Hadoop是一个开源的，分布式的，可靠的，灵活的 计算系统。很多大公司都
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值