自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 YARN的学习

(3)Fair Scheduler:公平调度器所谓的“公平”,强调的是任务按队列公平的使用YARN资源,即, 队列内的任务公平使用队列中的资源。YARM调度器分三种:(1)FIFO Scheduler:先进先出调度器(2)Capacity Scheduler:容器调度器(3)Fair Scheduler:公平调度器。(1)FIFO Scheduler:先进先出调度器,是最简单的调度器,任务是按顺序执行的,哪个任务先 提交,就先执行哪个任务,而且任务执行时资源利用率为100%。占用最小、优先级高的先执行。

2025-06-10 11:17:08 873

原创 MapReduce进阶

什么是分区?Partition定义:Mapper任务划分数据的过程称作Partition负责实现数据的类称作Partitioner,默认的分区是Hash分区(H阿是Partition)Partition作用:将map阶段产生的所有<key,value>对分配给不同的Reducer处理,可以将Reducer阶段的处理负载进行分摊Partition的数量决定Peducer的数量。

2025-06-09 12:00:17 443

原创 输出数据OutputFormat案例

2.在java目录下创建一个outputFormatTest。5.LogRecordWriter的代码如下。会多两个文件夹,分别是log和output。5.LogOutputFormat代码为。4.LogReducer的代码如下。6.LogDriver的代码如下。在文件夹下面创建相应的类。

2025-06-08 20:02:04 279

原创 MapReduce核心框架原理

作用:1.数据切分 2.为Mapper提供输入数据。

2025-06-03 10:37:30 478

原创 【无标题】

1.将migu.txt文件从cg计算机复制到master节点上面,存放在/usr/local/hadoop 需要输入密码:83953588abc2.将lotus.txt文件从master这台机器上传到hdfs的系统里面3.修改pom.xml文件将packaging从war修改成jar4.使用maven打包5.上传生成的jar包从cg机器上传到master上面6.执行jar包hadoop jar jar名字 驱动文件(一般包含main方法)输入路径 输出路径。

2025-05-27 10:45:12 196

原创 MapReduce

MapReduce是一种简化并行计算的编程模型,用于进行大数据量的计算。MapReduce是一个分布式运算程序的的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。

2025-05-26 11:55:56 1418

原创 hadoop配置文件,参数的优先级

参数优先级排序:(1)客户端代码中设置的值 (2)ClassPath下的用户自定义的配置文件(project下的配置文件,例如/root/IdeaProjects/hdfsClient/src/main/resources/hdfs-site.xml) (3)服务器的自定义配置文件(XXX-site.xml路径为/usr/local/hadoop/etc/hadoop) (4)服务器的默认配置(XXX-default.xml)

2025-04-29 10:36:01 912

原创 hdfs调用api的课程笔记

【代码】hdfs调用api的课程笔记。

2025-04-22 10:46:10 158

原创 分布式计算系统(实验)

master:容器privilege:赋予容器权利ulimit:接口--add-host=slave1:172.17.0.3:在容器的/etc/hosts文件中添到172.17.0.3。-add-host=slave2:172.17.0.4:将slave2映射到172.17.docker ps:启动容器сp:复制vim~/.bashrc:编译环境变量echo:输出文本字符串,变量值ping:测试主机是否连接scp:克隆。

2025-03-31 10:31:16 805

原创 分布式计算课程笔记

2006年,Google发表了Bigtable:A distributed Storage System for Structured Data(一个分布式的结构化数据存储系统),介绍Google的大表Bigtable的设计。2004年,Google公司发表论文MapReduce:Simplified Data Processig on Large Clusters(大型集群上的简单数据处理),介绍并计算模式MapReduce,海量数据的高效计算方法。a.Master节点管理所有的文件系统元数据。

2025-03-10 10:37:37 319 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除