- 博客(16)
- 收藏
- 关注
RSS订阅原创 word count测试
打开dfs ,start-dsf.sh 打开yarn start-yarn。6.运行MapReduce WordCount例子。/lotusinput/**.txt 输入路径。/lotusoutput 输出路径。5.查看是否上传成功。
2025-06-16 21:53:07
172
原创 HDFS的shell操作
Hadoopfs -moveFromLocal daji.txt /youxi/wanzghe将妲己移入wanzghe游戏里面。Hadoop fs -help rm 与hdfs dfs -help.sh是一样的。Hadoop fs -ls /youxi/wanzghe查看游戏wanzghe目录。Hadoop fs -mkdir /youxi/...添加游戏进入游戏目录。Hadoop fs -mkdir /youxi创建游戏目录。-chgrp:修改文件/目录的所属组。-du:统计文件夹的大小信息。
2025-06-16 21:48:52
338
原创 wordcount测试
1.将zhangkun.txt从cg计算机复制到master节点上，存放在/usr/local/hadoop。输入密码：83953588abc。4.使用maven打包，先使用clean，在使用package。5.上传生成的jar包从cg机器上传到master。
2025-06-16 21:22:42
243
原创 YARN
（2）Capacity Scheduler：容器调度器 （YARN默认采用） ，分成多个队列来执行不同任务，每个队列占用一定资源，可以看作是FIFO Scheduler的多队列版本。（3）Fair Scheduler：公平调度器 ， 所谓的“公平”，强调的是任务按队列公平的使用YARN资源，即，队列内的任务公平使用队列中的资源。分三种：（1）FIFO Scheduler：先进先出调度器 ，是最简单的调度器，任务是按顺序执行的，哪个任务先提交，就先执行哪个任务，而且任务执行率为100%
2025-06-10 11:17:52
583
原创 切片机制
FileInputFormat常见的接口实现类包括：TextInputFormat,KeyValueTextInputFormat,NLineInputFormat,CombineTextInnputFormat和自定义InputFormat等。OutputFormat的实现类有TextOutputFormat，SequenceFileOutputFormat,自定义OutputFormat。TextInputFormat是默认的FileFormat实现类。3.3.1 OutputFormat接口实现类。
2025-06-09 10:40:22
271
原创 HDFS读取数据流程
1.客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件快所在DataNode。（Shell脚本）查询文件储存位置。2、挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。（负载均衡原则）3、DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。（如果文件有多个block，串行读）4、客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。。
2025-05-06 11:55:40
397
原创 hadoop配置文件，参数的优先级
参数优先级排序：（1）客户端代码中设置的值 （2）ClassPath下的用户自定义的配置文件（project下的配置文件,例如/root/IdeaProjects/TEST-Hadoop/src/main/resources/hdfs-site.xml） （3）服务器的自定义配置文件（XXX-site.xml路径为/usr/local/hadoop/etc/hadoop)）（4）服务器的默认配置（XXX-default.xml）2.测试（1）和（2）（3）的优先级顺序。最后执行testput1。
2025-04-26 22:26:02
293
原创 chmod笔记
g:所属组别 group （同班同学）o:其他用户others （其他班同学）chmod 754 file.txt （最高权限777）a:所有用户all，默认。chmod 【用户类别】【操作符】【权限】 文件/目录。类用户（所有者，组，其他用户）的权限，得到三位数字。用户类别：u:所有者 user （拥有者）第一位：所有者权限 rwx 7。第三位：其他用户权限 r-- 4。chmod 【数字组合 】文件/目录。第二位：组权限 r-x 5。操作符：+：添加权限。
2025-04-07 11:58:27
248
原创 【无标题】
(1)存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的，（每个文件（不管是1kb还是1GB）的。文件上传hdfs的时候，Client将文件切分成一个一个的Block，然后上传。，为了提高速度，NameNode存储在内存中，一般内存是128G，因此要避免大量小文件十五存储）（2）小文件存储的寻址时间会超过读取时间，他违反了HDFS的设计目标。有一台服务器128G，每个文件块大小是150B，求能存储多少个文件块。
2025-03-31 11:58:30
462
原创 分布式计算笔记
BigTable的架构：Master—> Tablet Sever（多个)———>存储多个Tablet。HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。机架感知控制数据副本的物理位置（如跨机架分布)但本身不管理数据存储细节。优点：“增删改”快（相比传统数据库）（机架感知，决定数据块保存位置 注意与GFS的区别。GFS直接管理数据分块的存储，副本复制和负载均衡)（传统数据库 user表：user-id, 昵称。将数据副本分布在多个机架：第一副本在本地节点，
2025-03-03 12:08:58
295
原创 【无标题】
2004年，Google公司发表论文 MapReduce:Simplified Data Processing on Large Clusters, 介绍并行计算模式MapReduce.海量数据的高效计复方法。b.GFS 存储的文件都被分割成固定大小的块， 每个块都会复制到多个块服务器上（可靠性）。C. Master还管理着系统范围内的活动，比如块服务器之间的数据迁移等。d. Master 与每个块服务器通讯（发送心跳包），发送指令，获取状态。Variety种类多，来源多，格式多。
2025-02-25 12:34:49
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人