- 博客(14)
- 收藏
- 关注
RSS订阅原创 wordcount在集群上的测试
hadoop jar jar名字 驱动文件（一般包含main方法）输入路径 输出路径。将packaging从war修改成jar。这里需要重新加载一下maven。4.使用maven打包。
2025-06-20 18:22:41
411
原创 统计字符个数
4.创建input文件，put把本地文件放在input。5.进入mapreduce。1编辑data.txt。3查看编辑文件是否成功。
2025-06-20 18:18:16
218
原创 HDFS的shell操作
1Hadoop方式-moveFromLocal daji.txt /youxi/yuanshen。put：等同于copyFromLocal，生产环境更习惯用put。8.hadoop fs -help rm 查看命令帮助文档。-setrep：设置HDFS文件副本数量。可以客户端修改，如果遇到权限问题，执行。chgrp：修改文件/目录的所属组。在HDFS目录中移动文件。显示一个文件的末尾1kb的数据。-du 统计文件夹的大小信息。cat：显示文件内容。
2025-06-20 18:15:18
263
原创 outputformat
过滤输入的log日志，包含atguigu的网站输出到e:/atguigu.log，不包含atguigu的网站输出到e:/other.log。.在java目录下创建一个outputFormatTest。LogRecordWriter的代码如下。LogOutputFormat代码为。LogReducer的代码如下。创建一个文件在log.txt。LogDriver的代码如下。在文件夹下面创建相应的类。
2025-06-20 18:00:51
246
原创 【无标题】HDFS的API调用
sunhao.txt.crc crc：循环冗余校验。5.查看图形化界面是否创建成功。创建txt文件sunhao。2.查看是否创建成功。
2025-06-20 17:54:30
165
原创 WordCount代码理解
### 1. **键和值的基本定义**- **键（Key）**：键是一个唯一的标识符，用于区分不同的数据记录或数据项。它就像一个“标签”或“索引”，用于快速查找和访问对应的值。- **值（Value）**：值是与键相关联的具体数据内容。它表示键对应的“信息”或“数据”，是存储或处理的实际对象。#### 2. **键和值的对应关系**键和值之间是一对一或一对多的关系：- **一对一关系**：一个键对应一个值。例如，在一个简单的键值对存储中，每个键唯一标识一个值。
2025-06-14 21:11:45
864
原创 partition（分区）
（5）ResourceManager调度器分配一个容器，ResourceManager在NodeManager的管理下，在容器中启动MRAppMaster。（8）MRAppMaster决定如何运行作业的各个任务，如果作业很小，就选择同一个JVM上运行。否则，向ResourceManager请求新的容器。（3）计算输入分片。（4）调用ResourceManager的submitApplication()提交作业，同时传入（3）的资源。（10）从HDFS获取作业配置，Jar文件，分片文件，并资源本地化。
2025-06-10 10:43:28
502
原创 hadooop配置文件，参数的优先级
（1）客户端代码中设置的值（2）Class Path下用户自定义的配置文件(project下的配置文件，路径/root/IdeaProjects/hdfsClient/src/main/resources/hdfs-site.xml)（3）服务器自定义配置文件（XXX-site.xml路径为/usr/local/hadoop/etc/hadoop/hdfs-site.xml）(4)服务器的默认配置（XX-default.xml）2.测试（1）和（2）（3）的优先级。1.测试（2）和（3）的优先级。
2025-04-26 22:15:25
247
原创 HDFS的API调用
Yarn start-yarn.sh Yarn数据来自HDFS必须先启动HDFS ，HDFS 启动用start-dfs.sh NameNode在哪就在哪台机器上启动，它管DateNode。sunhao.txt.crc crc：循环冗余校验。HDFS的API调用：用一台机器管理所有集群。
2025-04-26 22:15:13
275
原创 chmod笔记
chmod o = r file.txt （赋予其它用户读file.txt的权限）o:其它用户 others。chmod [用户类别] [操作符] [权限] 文件/目录。g：所属组别 group。a：所有用户 默认all。用户类别 ：u：所有者。
2025-04-07 11:46:08
257
原创 HDFS笔记
1.存储大量小文件会占用NameNode大量内存，这样不可取。NameNode内存有限每个文件的。2.小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。（为了提高速度，NameNode存储在内存中，一般128g）：数据自动保存多个副本，某个副本丢失后自动恢复。1.不适合低延时数据访问，如毫秒级存储数据。3.不支持并发写入，文件随机修改。HDFS只是分布式文件管理系统中的一种。（适合数据分析，不适合做网盘）存储文件，通过目标树定位文件。2.无法高效的对大量小文件存储。，不支持文件的随机修改。
2025-03-31 11:57:55
635
原创 分布式计算课程笔记2
BigTable的架构：Master——> Tablet Sever(多个) ——>存储多个Tablet。机架感知控制数据副本的物理位置（如跨机架分布）但本身不管理数据存储细节。行键 列族:列限定 时间戳 值。GFS直接管理数据分块的存储，副本复制和负载均衡）将数据副本分布在多个机架：第一副本在本地节点，* 优点：“增删改” 快（相比传统数据库）(传统数据库 user表：user-id, 昵称……* 缺点： 以空间换时间，存在浪费。HDFS是Hadoop项目的核心子项目，是。：BigTable（大表）
2025-03-03 12:00:04
438
原创 分布式计算课程笔记
2004年，Google发表论文 MapReduce Simplified Data Processing on Large Clusters,介绍并行计算模式MapReduce，海量数据的高速计算方法。格式多（结构化数据：有固定格式，如 mysql excel 交易记录。管理节点：存储数据元文件（文件名 文件块 文件所在数据节点）2.多样化（Variety)：来源多（搜索引擎 社交网络 通话记录 ）1 大量化（Volume）：存储量大（TB PB EB） 增量大。GFS思想：数据节点：存储数据块。
2025-02-25 12:00:10
547
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人