大数据之-Hadoop之HDFS的API操作_文件下载案例---大数据之hadoop工作笔记0058

最新推荐文章于 2022-04-17 23:05:05 发布
最新推荐文章于 2022-04-17 23:05:05 发布
阅读量471 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 集群&算法&量子计算
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/115431707
本文介绍了如何使用Hadoop的HDFS API进行文件下载，并详细解释了`.banhua.txt.crc`文件的作用，它是一个用于认证的校验文件。通过设置`copyToLocalFile`的参数，可以避免在下载过程中生成CRC校验文件。示例代码展示了下载文件的过程，以及如何保持源文件在HDFS上不被删除。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

我们再来看一下文件下载。

这个代码就可以下载文件了

使用的是copyToLocalFile的api

执行以后可以看到文件下载下来了

但是多了个.banhua.txt.crc文件.

可以看到这个.banhua.txt.crc文件, 其实是一个认证文件,认证文件用的.

循环冗余码校验英文名称为Cyclical Redundancy Check，简称CRC。
　　它是利用除法及余数的原理来作错误侦测（Error Detecting）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据之-Hadoop3.x_Hadoop_HDFS_掉线时限参数设置---大数据之hadoop3.x工作笔记0079
添柴程序猿的专栏
07-01 409
这里定义超时时间是TimeOut,那么这个TimeOut是怎么计算的呢? 是2 *dfs.namenode.heartbeat.recheck-interval这个 dfs.namenode.heartbeat.recheck-interval 是五分钟 然后10 *dfs.heartbeat.interval这个 dfs.heartbeat.interval 的3秒,所以这个掉线时限,就是 10分钟,加上30秒,如果和这个datanode还是通信不上的话,namen...
大数据之-Hadoop之HDFS的API操作_判断是文件还是文件夹---大数据之hadoop工作笔记0062
添柴程序猿的专栏
04-05 823
然后我们再来看看,利用hadoop的hdfs的java的api来判断,当前的给出的路径是个 文件夹还是个文件. 我们写一下代码,我们判断根目录下的所有文件,循环判断是文件还是文件并打印 可以看到我们执行前去看看,现在hdfs上根目录,全部是文件 去执行 可以看到,已经判断成功,所有的文件都是文件,没有目录 技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 开通了个人技术微信公众号:credream,优快云账号:cre...
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
HDFS的API操作-文件的上传和下载
Leon_Jinhai_Sun的博客
02-23 355
HDFS 文件上传 @Test public void putData() throws Exception{ FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.52.250:8020"), new Configuration()); fileSystem.copyFromLocalFile(new ...
Hadoop之API文件下载等操作
a2957827124的博客
04-17 2454
Hsdoop之API文件下载等操作
hadoop 将Hdfs中的文件下载到本地
08-20 4437
importjava.io.FileOutputStream; importjava.io.OutputStream; importjava.net.URI; importorg.apache.hadoop.conf.Configuration; importorg.apache....
【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地
baijiaozhan8157的博客
04-20 341
【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地 接着之前继续API操作的学习 CopyFromLocalFile: 顾名思义，从本地文件拷贝 /** * 使用Java API操作HDFS文件系统 * 关键点: *...
大数据之-Hadoop之HDFS的API操作_文件IO流_下载_案例---大数据之hadoop工作笔记0064
添柴程序猿的专栏
04-05 366
我们再去实现,文件的下载,下载其实就是,文件输入流,是hdfs上面的文件,输出流是本地的文件,跟上传很像. 写完以后我们执行 先看看,本地没有banhua.txt对吧 去执行 执行以后可以看到banhua.txt文件,就被下载下来了. 然后我们再看看,下载的文件的内容. 技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 开通了个人技术微信公众号:credream,优快云账号:credreamer 有需要的朋友可以...
大数据之-Hadoop之HDFS的API操作_写数据流程_上传数据原理剖析_案例---大数据之hadoop工作笔记0066
添柴程序猿的专栏
04-05 503
hdfs的数据流,的写入过程,也就是,文件从本地上传到hdfs的过程,我们来看原理. 1.首先第一步我们的客户端去向,我们的完全分布式集群,像namenode节点,发起一个文件上传请求,并且把要上传的文件的路径带上。 2.NameNode节点在收到客户端上传文件的请求以后,会去检测当前能不能上传文件,如果可以的话,会给客户端回复可以上传的应答。 3.客户端去创建一个DistributedFileSystem对象,然后用这个客户端对象,去请求上传第一个block(从第0个字节到第128M个字节。),..
hadoop中文版API.zip
01-04
hadoop 中文版 API！！欢迎下载参考。。。。。。。。。
hadoop-hdfs-2.7.3-API文档-中文版.zip
05-01
赠送jar包：hadoop-hdfs-2.7.3.jar； 赠送原API文档：hadoop-hdfs-2.7.3-javadoc.jar； 赠送源代码：hadoop-hdfs-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.hadoop:hadoop-hdfs:2.7.3； 标签：apache、hdfs、hadoop、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）
06-11
在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。
hadoop中文版API
01-31
hadoop中文版API.chm文件，查找hadoop的类中方法、方法的用法等，方便、好用
hadoop-api中文说明文档
05-22
hadoop-api中文说明文档
Java API操作Hadoop文件
04-08
NULL 博文链接：https://anna66.iteye.com/blog/1605502
Hadoop2.7.3客户端之Java API上传/下载文件
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
03-17 1938
Hadoop2.7.3客户端之Java API上传/下载文件 在Idea或eclipse中创建maven项目 在pom.xml中添加hadoop依赖（请参考前面的博文） 编写测试代码 上传代码/** * 文件上传：从本地上传文件到HDFS上 * 思路： * 1、明确目的地，Configuration设置HDFS * 2、利用FileInputStream，读取本地文件 * 3、通过FileSystem对象调用create方法，在hdfs创建一个空文件，并返回输出流FSDataOutputStream *
HDFS——如何将文件从HDFS复制到本地
qiezikuaichuan的专栏
08-26 5952
下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法：Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 示例： hadoop fs -get /user/hadoop/file localfile hadoo
Java API在HDFS上实现文件的上传、下载到本地、创建文件夹、删除文件和重命名文件
qq_46266006的博客
01-04 8032
前期准备： 一、前期准备 （1）Hadoop集群已配置完毕 （2）linux系统安装jdk （3）在linux系统中安装并破解IntelliJIDEA 二、通过JAVA API接口操纵HDFS 1.在IDEA中创建maven项目 2.设置配置文件 （1）修改pom.xml文件导入依赖如下，刷新，自动安装hdfs所需包 （2）在hdfs项目的src->main->resources路径下创建log4j2.xml日志文件，添加内容如下 3.在hd...
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
热门推荐
小袁同学的博客
11-21 3万+
如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学（正在持续更新中······） 首先，启动Hadoop集群服务 然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目 首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next 设置项目名称，点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值