- 博客(7)
- 收藏
- 关注
原创 分布式课程笔记
MapReduce是一种简化并行计算的编程模型,用于进行大数据量的计算。MapReduce是一个分布式运算的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。Partition定义:Mapper任务划分数据的过程称为Partition。负责实现数据的类称作Partitioner,默认的分区是HASH分区Partition作用:将Map阶段产生的所有<key,value>对分配给不同的Reducer处理,可以将Reduce阶段的处理负载进行分摊。
2025-06-20 17:39:39
1068
原创 Hadoop配置文件,参数的优先级
参数优先级排序:(1)客户端代码中设置的值(2)ClassPath下的用户自定义的配置文件(project下的配置文件,例如 /root/IdeaProjects/hdfsClient/src/main/resources/)(3)服务器的自定义配置文件(XXX-site.xml 路径为/usr/local/hadoop/etc/hadoop )(4)服务器的默认配置(XXX-default.xml)结果份数为2,说明客户端代码中设置的值的优先级高于一切配置文件。2.测试(1)和(2)(3)的优先级顺序。
2025-04-27 10:32:07
279
原创 分布式计算课程笔记
其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。hdfs中文件在物理上是分块存储(block),块的大小是可以通过配置参数(dfs.block)来规定,默认大小Hadoop2.X/3.X版本中的128M,1.X版本是64M.文件上传hdfs的时候,Client将文件切分成一个一个的Block,然后进行上传。(1)HDFS的块设置太小,会增加寻址时间,程序一直在找块位置:(书的目录不能比内容大)1.不适合低延时的数据访问,比如毫秒1级的存储数据,是做不到的。
2025-04-01 11:59:51
411
原创 分布式计算课程笔记
docker exe -it --privileged ➕名称 master /bin/bash 进入容器。scp -r root@master:/usr/local/Java 原本要复制的文件。docker ps可以查看运行的容器,docker ps-a查看所有容器。root@slvae1:/usr/local/Java 粘贴的地方。source~/·bashrc让环境变量生效。ssh -keygen -t 生成密钥对。cat表示 查询或者拼接 这里是拼接。4.配置ssh无密码登录。
2025-03-10 12:17:35
250
原创 分布式计算课程笔记
HDFS:Hadoop Distributed File System ,是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础。它包含Namenode和Datanode,Datanode机架感知决定数据块保存的位置。1.3.1 Hadoop对Google 三遍论文的实现。1.2.2 Google思想二 :Mapreduce。1.2.3 Google 思想三:BigTable。每一个分区叫做一个tablet。它是对GFS论文的实现。采用“分而治之”的思想。Hadoop的四个优点。
2025-03-03 12:00:34
207
原创 分布式计算课程笔记
2006年,Google公司发表过Bigtable:A distributed Storage for Structured Data(一个分布式的结构化数据存储系统),介绍Google的大表Bigtable的设计。2004年,Google公司发表论文MapReduce:Simplifed data processing on large clusters(大型集要上的简单处理),介绍并行计算模式MapReduce,海最数据的高效计算方法。1.结构化数据:有固定格式。value 价值密度低。
2025-02-25 13:13:04
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅