- 博客(11)
- 收藏
- 关注
RSS订阅原创 MapperReduce
（5）ResourceManager调度器分配一个容器，ResourceManager在NodeManager的管理下，在容器中启动MRAppMaster。（8）MRAppMaster决定如何运行作业的各个任务，如果作业很小，就选择同一个JVM上运行。Partition作用：将map阶段产生的所有<key,value>对分配给不同的Reducer处理，可以将Reduce阶段的处理负载进行分摊。（4）调用ResourceManager的submitApplication()提交作业，同时传入（3）的资源。
2025-06-10 17:09:28
657
原创 【无标题】
1、将louts.txt文件从cg计算机复制到master节点上面，存放在/usr/local/hadoop需要输入密码：83953588abc2、将lotus.txt文件从master这台机器上传到hdfs的系统里面3、修改pom.xml文件，将packaging从war修改成jar4、使用maven打包5、上传生成的jar包从cg机器上传到master上面6.执行jar包hadoop jar jar名字 驱动文件（一般包含main方法）输入路径 输出路径7.查看执行结果。
2025-06-10 17:09:15
629
原创 实验五 OutputFormat案例
contains方法的作用是告诉 Hadoop 从哪里读取输入数据。在你的代码中，输入路径为，这意味着 Hadoop 会去读取该目录下的所有文件或者子目录里的文件，将这些文件作为 MapReduce 作业的输入数据。方法则是用来指定 Hadoop 把作业处理后的结果输出到何处。在你的代码中，输出路径是，也就是 MapReduce 作业产生的结果会被写入到这个目录中。
2025-06-09 11:05:01
373
原创 实验三 Hadoop配置文件
设置份数为2份，在这之前设置了project下的配置文件，/root/IdeaProjects/hdfsClinet.src/main/resources/hdfs-site.xml份数为1份，服务器的自定义配置文件（XXX-site.xml路径为/usr/local/hadoop/etc/hadoop/hdfs-site.xml份数为3份）（3）服务器的自定义配置文件（XXX-site.xml路径为/usr/local/hadoop/etc/hadoop）（1）客户端代码中设置的值。
2025-04-28 10:33:41
309
原创 实践二 HDFS的shell操作
hadoop fs -rm -r /dianzijingji/youxi（-r删遍历文件下所有的文件）19、-chgrp -chmod -chown：Linux文件系统中的用法一样，修改文件所属权限。（2）-cp：从 HDFS一个路径拷贝到HDFS的另一个路径。hadoop fs -rm /路径/文件名字（删具体文件）（4）-tail：显示一个文件的末尾1kb的数据。（6）-rm-r：递归删除目录以及目录里面的内容。第三位：其他用户权限 r-- 4+0+0=4。（1）chgrp：修改文件／目录的所属组←。
2025-04-15 10:29:58
747
原创 HDFS知识
HDFS（Hadoop Distributed File Sysyem）是一个文件系统，用于存储文件，通过目标树来定位文件；其次，他是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.1 HDFS优缺点优点1、高容错性：数据自动保存多个副本。它可以通过增加副本的形式，提高容错性。某一个副本丢失后，它可以自动恢复。2、适合处理大数据。
2025-04-15 10:29:15
696
原创 实验一 Hadoop实验环境搭建
etc/hosts：-add-host=slave1:172. 17.0.3：在容器的 /etc/hosts文件中到172.17.0.3。按I 进入INSERT，复制粘贴修改文件core-site.xml，esc 按dd在上面删除两个相同的。blk是实际文件存储的地址，且 有两个块，文件名字不一样（文件太大了，切成小块存储）root@master:/usr/local/java：原本要被复制的文件。复制代码 然后在剪切板里粘贴，保存，再在剪切板里复制，在系统中粘贴代码。
2025-03-31 11:55:16
1103
原创 分布式计算基础知识
（3）2006年Google公司发表Bigtable：A distributed Storage System for Structured Data（一个分布式的结构化数据存储系统），介绍Google的大表（Bigtable）的设计。采用“分为治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个子节点共同完成，然后整合各个子节点的中间结果，得到最终的计算结果。应用场景：在线旅游、移动数据、电子商务、能源开采、节能、基础架构管理、图像处理、诈骗检测、IT安全、医疗保健。
2025-03-31 11:54:36
386
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人