- 博客(10)
- 收藏
- 关注
原创 YARN的学习
(3)Fair Scheduler:公平调度器所谓的“公平”,强调的是任务按队列公平的使用YARN资源,即, 队列内的任务公平使用队列中的资源。YARM调度器分三种:(1)FIFO Scheduler:先进先出调度器(2)Capacity Scheduler:容器调度器(3)Fair Scheduler:公平调度器。(1)FIFO Scheduler:先进先出调度器,是最简单的调度器,任务是按顺序执行的,哪个任务先 提交,就先执行哪个任务,而且任务执行时资源利用率为100%。占用最小、优先级高的先执行。
2025-06-10 11:17:08
873
原创 MapReduce进阶
什么是分区?Partition定义:Mapper任务划分数据的过程称作Partition负责实现数据的类称作Partitioner,默认的分区是Hash分区(H阿是Partition)Partition作用:将map阶段产生的所有<key,value>对分配给不同的Reducer处理,可以将Reducer阶段的处理负载进行分摊Partition的数量决定Peducer的数量。
2025-06-09 12:00:17
443
原创 输出数据OutputFormat案例
2.在java目录下创建一个outputFormatTest。5.LogRecordWriter的代码如下。会多两个文件夹,分别是log和output。5.LogOutputFormat代码为。4.LogReducer的代码如下。6.LogDriver的代码如下。在文件夹下面创建相应的类。
2025-06-08 20:02:04
279
原创 【无标题】
1.将migu.txt文件从cg计算机复制到master节点上面,存放在/usr/local/hadoop 需要输入密码:83953588abc2.将lotus.txt文件从master这台机器上传到hdfs的系统里面3.修改pom.xml文件将packaging从war修改成jar4.使用maven打包5.上传生成的jar包从cg机器上传到master上面6.执行jar包hadoop jar jar名字 驱动文件(一般包含main方法)输入路径 输出路径。
2025-05-27 10:45:12
196
原创 MapReduce
MapReduce是一种简化并行计算的编程模型,用于进行大数据量的计算。MapReduce是一个分布式运算程序的的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。
2025-05-26 11:55:56
1418
原创 hadoop配置文件,参数的优先级
参数优先级排序:(1)客户端代码中设置的值 (2)ClassPath下的用户自定义的配置文件(project下的配置文件,例如/root/IdeaProjects/hdfsClient/src/main/resources/hdfs-site.xml) (3)服务器的自定义配置文件(XXX-site.xml路径为/usr/local/hadoop/etc/hadoop) (4)服务器的默认配置(XXX-default.xml)
2025-04-29 10:36:01
912
原创 分布式计算系统(实验)
master:容器privilege:赋予容器权利ulimit:接口--add-host=slave1:172.17.0.3:在容器的/etc/hosts文件中添到172.17.0.3。-add-host=slave2:172.17.0.4:将slave2映射到172.17.docker ps:启动容器сp:复制vim~/.bashrc:编译环境变量echo:输出文本字符串,变量值ping:测试主机是否连接scp:克隆。
2025-03-31 10:31:16
805
原创 分布式计算课程笔记
2006年,Google发表了Bigtable:A distributed Storage System for Structured Data(一个分布式的结构化数据存储系统),介绍Google的大表Bigtable的设计。2004年,Google公司发表论文MapReduce:Simplified Data Processig on Large Clusters(大型集群上的简单数据处理),介绍并计算模式MapReduce,海量数据的高效计算方法。a.Master节点管理所有的文件系统元数据。
2025-03-10 10:37:37
319
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅