- 博客(5)
- 收藏
- 关注
RSS订阅原创 Mapreduce（占40分）
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
2026-05-25 14:38:32
347
原创 期末必考-
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
2026-05-18 15:38:04
53
原创 HDFS客户端操作
windows(不属于集群的机器)（HDFS客户端代码）------控制整个集群。集群（master(shell)，slave1，slave2，slave3）Maven-----管理项目依赖，打包，构建。
2026-05-09 13:58:14
42
原创 查看出现问题的原因-log
根据log查询到exception，定位到文件/usr/local/hadoop/etc/hadoop/mapred-site.xml犯错。1.集群起不来的DataNode(master,slave2,slave1,slave3)slave1的DataNode没有正常启动。2.使用jps，查看进程哪些有问题。配置文件有问题（具体哪个有问题？slave1有问题。
2026-04-20 14:20:50
31
原创 hadoop
最后的地址：/usr/local/hadoop/tmp/dfs/data/current/BP-1572212494-172.18.0.2-1774500901217(自己的块id名字)/current/finalized/subdir0/subdir0。cd /usr/local/hadoop/tmp/dfs/data/current/BP-1572212494-172.18.0.2-1774500901217(自己的块id名字)/current/finalized/subdir0/subdir0。
2026-04-20 14:01:02
526
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人