·分布式文件系统HDFS 练习

最新推荐文章于 2022-10-22 15:29:22 发布

转载最新推荐文章于 2022-10-22 15:29:22 发布 · 188 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/mofan2233/p/10956799.html

文章标签：

#大数据

本文详细介绍了如何在HDFS中进行目录和文件的基本操作，包括创建目录、上传和下载文件等步骤，适用于初学者快速上手HDFS环境。

作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292

1.目录操作

在HDFS中为hadoop用户创建一个用户目录（hadoop用户）

在HDFS的根目录下创建一个名称为input的目录

2.文件操作

使用gedit编辑器，在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件：姓名.txt,此处为lys.txt

在该文件里面可以随意输入一些单词，如学号

把本地文件系统的"/home/hadoop/姓名.txt"上传到HDFS中的当前用户目录的input目录下

查看一下文件是否成功上传到HDFS中

把文件从HDFS中当前用户目录的input目录拷贝到HDFS根目录：

从HDFS根目录删除这个文件：

把HDFS中的姓名.txt文件下载到本地文件系统中的"/home/hadoop/下载/"这个目录下：

在本地系统查看下载下来的文件：

转载于:https://www.cnblogs.com/mofan2233/p/10956799.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ddr771395

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

2021-5-8 大数据第三次实验

MengMengBoss的博客

05-08

2008

实验三：熟悉常用的HDFS操作实验时间： 2021年3月24日实验地点：计算机专业实训室实验目的：理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的Shell命令熟悉HDFS操作常用的JavaAPI 实验环境：win10专业版实验过程与完成情况：（文字与相关截图）利用Shell命令与HDFS进行交互启动Hadoop cd /us...

分布式文件系统HDFS

weixin_34194379的博客

05-31

155

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作（1）在HDFS中为hadoop用户创建一个用户目录（hadoop用户）（2）在用户目录下创建一个input目录（3）在HDFS的根目...

参与评论您还未登录，请先登录后发表或查看评论

HDFS基本操作

a215012954的博客

06-11

1179

基本操作增在/目录下创建一个test1文件夹 hadoop fs -mkdir /test1 在Hadoop中的test1文件夹中创建一个file.txt文件 hadoop fs -touchz /test1/file.txt 删删除Hadoop根下的test1目录 hadoop fs -rm -r /test1 改将Hadoop根下test1目录中的file.txt文件，移动...

熟悉常用的HDFS操作

bagaichang8396的博客

04-26

211

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls）在本地显示文件内容使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。查看hdfs中的文件(-ls) 显示hdfs中该...

我的大数据学习之旅1

weixin_45731041的博客

04-09

837

自己写着玩，当作学习记录！！启动Hadoop 我已经在虚拟机中安装了Hadoop的伪分布式系统，可以使用jps来查看Hadoop的启动进程，但是在这之前，首先要启动Hadoop。进入Hadoop安装目录/usr/local/hadoop： cd /usr/local/hadoop 启动: ./sbin/start-dfs.sh 启动后：本地文件与HDFS的文件传输 hdfs中的目录就是/user/hadoop。本地数据库在/usr/local/hadoop下。 Hadoop用户家目录就是/ho

实验问题解决：HDFS上传文件

刘启川的博客

03-17

5473

实验问题解决：HDFS上传文件使用教材：大数据基础编程、实验和案例教程（第2版）问题解决：第 4 章 “4.3.4 编译运行程序” 中确保 /user/hadoop 目录下已经存在 file1.txt、file2.txt、file3.txt、file4.abc、file5.abc 。先在 Home 文件夹下创建需要的 5 个文件并输入内容： file1.txt、file2.txt、file3.txt、file4.abc、file5.abc。然后使用如下代码向 HDFS 上传数据： hadoo

HDFS编程实践（Hadoop3.1.3）

KillerNex的博客

10-22

2425

HDFS编程实践（Hadoop3.1.3）

大数据上机基础—HDFS文件操作

a402498234的博客

03-18

3076

HDFS基础文件操作

Hadoop之HDFS常用操作基础练习（五）

初心的博客

11-10

7261

详细命令截图链接：http://note.youdao.com/noteshare?id=dc935930fbd57ba608665204cc15edaa 内容整理于笔记集群规划： ☛Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中 HDFS的主节点、MapReduce的主节点...

实验2 Spark和Hadoop的安装

LittleFish0820

11-26

3122

实验2 Spark和Hadoop的安装实验目的掌握在Linux虚拟机中安装Hadoop和Spark的方法。熟悉HDFS的基本使用方法。掌握使用Spark访问本地文件和HDFS文件的方法。实验平台 Ubuntu18.04 Spark2.4.0 Hadoop2.7.7 Python3.6.9 1、安装Hadoop和Spark 零基础：参考林子雨《Spark编程基础》网站实验指南已入门：鄙人博客Spark伪分布式安装大全，快速搭建（我绝对没有打广告！) 2、HDFS常用操作启动Ha

作业：分布式文件系统HDFS 练习

weixin_30329623的博客

05-27

490

这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292。利用Shell命令与HDFS进行交互 1.目录操作 Hadoop系统安装好后，第一次使用HDFS时，需要首先在HDFS中创建用户目录。本Linux系统采用hadoop用户登录，因此，需要在HDFS中为hadoop用户创建一个用户目录。 ...

【Linux】使用vi编辑器创建文本文件

热门推荐

Just do it!

11-11

3万+

前言 Linux下有许多编辑器，如KDE下的kwrite，GNOME下的gedit。其中历史最悠久的、使用最广泛的就是vi编辑器及其增强版vim。 vi是“Visual Interface”的简称，可以完成输出、删除、查找、块操作等众多文本操作。需要注意的是，vi不是一个排版程序，仅仅是一个文本编辑程序。说明 vi有三种基本的工作模式，分别是：命令行模式、文

HDFS编程实践

不能将运气当成战略！

04-19

1104

现在要执行的任务是：假设在目录“hdfs://localhost:9000/user/hadoop”下面有几个文件，分别是file1.txt、file2.txt、file3.txt、file4.abc和file5.abc，这里需要从该目录中过滤出所有后缀名不为“.abc”的文件，对过滤之后的文件进行读取，并将这些文件的内容合并到文件“hdfs://localhost:9000/user/hadoop/merge.txt”中。最后，了解一下如何把文件从HDFS中的一个目录拷贝到HDFS中的另外一个目录。

第三章熟悉常用的HDFS操作

weixin_30648963的博客

04-27

774

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls）在本地显示文件内容 cd /home/hadoop/ touch test.txt cat temp.txt 　4.使用命令把本地文件系统中的“txt”上传到H...

分布式文件系统HDFS 练习

weixin_30472035的博客

06-04

858

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 作业要求：利用Shell命令与HDFS进行交互以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 1.在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 2.在用户目录下创建一个input目录 3.在HDFS...

HDFS编程实践（Hadoop3.3.1）

weixin_46029055的博客

10-08

2285

$ cd /usr/local/hadoop $ ./sbin/start-dfs.sh 我们是在Hadoop伪分布式下去进行HDFS的编程实践准备工作： vm15.5 hadoop3.3.1 eclipse-java-2021-09-R-linux-gtk-x86_64 参考：林子雨：HDFS编程实践（Hadoop3.1.3）_厦大数据库实验室博客 (xmu.edu.cn) 他使用的是Hadoop3.1.3版本的，过程可能会遇到的坑将在另一篇文章中总结开始在HDFS编程实.

Linux使用vim编辑器创建文本文件

王秋云的博客

11-25

1万+

基本上vi可以分为三种状态，分别是命令模式（command mode）、插入模式（Insert mode）和底行模式（last line mode）. 1) 命令行模式command mode）　　控制屏幕光标的移动，字符、字或行的删除，移动复制某区段及进入Insert mode下，或者到 last line mode。 2) 插入模式（Insert mode）　　只有在Insert

把linux文件上传到hdfs的关键命令,利用Shell命令与HDFS进行交互

weixin_32442555的博客

05-16

3578

以”./bin/dfs dfs”开头的Shell命令方式1.目录操作在HDFS中为hadoop用户创建一个用户目录(hadoop用户)在用户目录下创建一个input目录,HDFS的根目录下创建一个名称为input的目录删除HDFS根目录中的“input”目录2.文件操作使用vim编辑器，在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件：姓名.txt在该文件里面可以随意输入...

分布式文件系统HDFS头歌第一关