- 博客(12)
- 收藏
- 关注
RSS订阅原创 头歌Hadoop安装与伪分布式集群搭建
本关我们来简单体验一下Hadoop的HDFS系统的功能，本关你需要掌握的技能有：1.在HDFS中创建文件夹，2.上传文件至HDFS中。代表根目录，这个命令的意思就是查看根目录下所有的文件和文件夹。命令即可将指定文件上传至HDFS的指定文件夹中，在本文中就是将。接下来我们来体验一下，在本地编写文件，然后上传到HDFS中。本关任务：使用Hadoop的HDFS系统来上传文件。创建好文件加之后，我们可以查看是否创建成功。至该文件中，最后将该文件上传至HDFS系统的。和Linux中一样创建文件加的主要命令是。
2024-12-23 18:14:26
371
原创 头歌MapReduce基础实战
使用MapReduce计算班级每个学生的最好成绩，输入文件路径为/user/test/input，请将计算后的结果输出到/user/test/output/目录下。对于两个输入文件，即文件file1和文件file2，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件file3。输入文件在你每次点击评测的时候，平台会为你创建，无需你自己创建，只需要启动HDFS，编写java代码即可。的表格，要求挖掘其中的父子辈关系，给出祖孙辈关系的表格。学号相同，按x,y,z排列；
2024-12-23 17:50:57
2034
原创 头歌HDFS文件操作
在本地的/opt目录下创建一个task.txt文件，在task.txt文件添加This a task文本内容；将本地的/opt/task.txt文件拷贝到HDFS系统的/目录下；在HDFS系统中的/usr.txt文件复制为新的/usr1.txt文件；将HDFS系统中的/user/user.txt文件下载到本地/opt/user目录下；将HDFS系统中的/task.txt文件复制为新的/task1.txt文件；将HDFS系统的/user.txt文件拷贝到HDFS系统的/user目录下；
2024-12-23 17:36:11
1207
1
原创 头歌HDFS 目录操作
注意：测试HDFS目录操作前，需要先通过start-dfs.sh脚本启动NameNode、DataNode、SecondaryNameNode服务。在根目录 / 创建 input 文件夹，再删除 /input 目录以及其子目录；在根目录 / 创建 output 文件夹，再删除 /output 空目录。在 /test 目录中创建多级目录 /hadoop/hdfs；在根目录 / 创建 test 文件夹；显示 /test 目录的所有内容；
2024-12-23 17:33:44
570
原创 头歌分布式文件系统HDFS
点击评测，平台会通过脚本创建/user/hadoop/task.txt文件并添加相应内容，无需你自己创建，开启hadoop，编写代码点击评测即可。使用FSDataInputStream获取HDFS的/user/hadoop/目录下的task.txt的文件内容，并输出，其中uri为hdfs://localhost:9000/user/hadoop/task.txt。使用FSDataOutputStream对象将文件上传至HDFS的/user/tmp/目录下，并打印进度。
2024-12-23 17:28:28
1816
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人