大数据技术与应用 实验三报告 MapReduce,架包

本文档详细记录了在大数据技术背景下,使用MapReduce进行HDFS文件存在性检查及WordCount程序的调试过程。首先,对HDFSFilefExist.java程序进行打包,然后通过SecureCRT进行SFTP传输并解压JAR文件。接着,在Hadoop环境中运行WordCount示例,验证MapReduce架包的成功。

大数据技术与应用 MapReduce架包、调试WordCount程序
1、在前面做好的HDFS的基础上进行架包。
在这里插入图片描述
在没有报错的基础对HDFSFilefExist.java程序进行打包。

2、把HDFSFilefExist.java从hdfs.files包中拖出来,它会自动形成另一个包default.package。

3、打包
(1)选中default.package→Export——Java——JAR file——next。
在这里插入图片描述
(2)选择存放的路径,最后选择Finish,打包完成。
在这里插入图片描述
四、传输和解压架包
(1)打开SecureCRT,SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
运行命令传输架包命令:put E:jar.jar
(2)解压架包tar -zxvf mp.jar -C /home/sun

五、运行自带程序wordcount
(1)运行cd /home/sun/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。
(2)运行wordcount
hadoop jar jar.jar HDFSFileIfExist
运行成功之后,会出现文件已存在,说明架包成功。

### 林子雨《大数据技术应用实验习题相关总结 林子雨的《大数据技术应用》一书是大数据领域的重要教材之一,涵盖了从基础理论到实际应用的广泛内容。以下是根据该书及相关内容整理的一些实验题目和习题[^4]。 #### 实验题目示例 1. **Hadoop分布式文件系统(HDFS)操作实验** - 使用Hadoop集群搭建一个HDFS环境。 - 上传本地文件至HDFS,并验证其存储情况。 - 执行文件读写操作,并分析数据块的分布情况。 2. **MapReduce编程实验** - 编写一个简单的MapReduce程序,统计文本文件中每个单词出现的次数。 - 运行程序并观察日志输出,分析任务执行过程中的Mapper和Reducer工作原理。 3. **NoSQL数据库操作实验** - 安装并配置MongoDB或HBase。 - 创建表、插入数据、查询数据,并实现复杂查询功能。 - 对比关系型数据库NoSQL数据库在性能上的差异。 4. **Spark大数据处理实验** - 使用Spark编写一个程序,计算一组数字的平均值。 - 分析Spark RDD的操作流程,理解其MapReduce的区别。 #### 习题示例 1. **简答题** - 什么是大数据?请结合实际应用场景说明大数据的特点[^1]。 - 云计算大数据之间的关系是什么?请详细阐述两者如何相辅相成[^2]。 2. **选择题** - 图灵奖获得者Jim Gray博士认为科学研究经历了哪几种范式?(A. 计算科学 B. 数据密集型科学 C. 实验科学 D. 理论科学)正确答案为ABCD[^3]。 3. **编程题** - 编写一段Python代码,利用Pandas库对一份CSV文件进行数据分析,括但不限于数据清洗、可视化展示等。 ```python import pandas as pd import matplotlib.pyplot as plt # 加载数据 data = pd.read_csv("data.csv") # 数据清洗 data.dropna(inplace=True) # 数据可视化 data.plot(kind='bar', x='category', y='value') plt.show() ``` 4. **设计题** - 设计一个基于物联网的数据采集系统,描述如何利用云计算和大数据技术对采集到的数据进行存储、分析和处理[^1]。 #### 注意事项 - 在完成实验和习题时,建议结合具体工具和平台(如Hadoop、Spark、MongoDB等)进行实践操作。 - 针对复杂的编程题,可以参考官方文档或相关教程,确保代码逻辑清晰且符合规范。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值