
大数据技术原理与应用
文章平均质量分 59
大数据技术原理与应用实验报告、选择题、课后题答案分享
VichyLeong
大三代码媛
展开
-
分布式文件系统HDFS学习篇
即想要读取某个文件时,需要读取大量文件,再从中进行筛选,HDFS无法直接精确读到某个文件,HDFS无法满足实时性处理需求。--与普通文件系统的相比,HDFS的块要大很多,通常为64MB,128 MB,可以进行最小化寻址开销。块太小,会加重NN(NameNodem名称节点)的负担,导致启动过多的Map任务。大量小文件会导致内存的索引结构非常庞大,搜索起来非常困难。(3)不支持多用户写入及任意修改文件。(2)无法高效存储大量小文件。(1)兼容廉价的硬件设备。(4)支持简单的文件模型。(5)强大的跨平台特性。原创 2023-07-08 18:59:47 · 237 阅读 · 0 评论 -
大数据技术原理与应用林子雨版第七章课后答案
大数据技术原理与应用林子雨版第七章课后答案原创 2023-06-08 10:35:02 · 4064 阅读 · 0 评论 -
大数据技术原理与应用实验报告--hive数据仓库工具
大数据技术原理与应用实验报告--hive数据仓库工具本实验将对汽车销售数据进行分析,使用HIVE QL语句来分析统计汽车行业、市场、个人等相关的数据。原创 2023-06-08 10:22:21 · 1103 阅读 · 0 评论 -
大数据技术原理与应用实验报告--关系代数运算并行化
大数据技术原理与应用实验报告--关系代数运行并行化求关系R与关系S的交集。假设有关系R与关系S,他们模式一致,要求设计MapReduce程序,找出两个关系中完全相同的记录,输出的每行是一条记录。关系R与关系S的模式为:name,age,gender原创 2023-06-08 10:16:50 · 590 阅读 · 0 评论 -
大数据技术原理与应用实验报告--HDFS分布式文件系统
大数据技术原理与应用实验报告--HDFS分布式文件系统--实验内容:1.在HDFS创建目录 /mytestdir/ch042.在本地文件系统创建文件,文件名为自己名字拼音全拼,使用put命令将该文件上传到HDFS的/mytestdir/ch04中3.使用 –cat命令查看刚刚上传的文件内容4.查看集群的安全模式5.在本地文件系统创建文件,文件名为自己学号,使用API方式上传该文件到/mytestdir中,并将其下载到本地/home/hadoop下。(给出编程代码,及hdfs文件截图)原创 2023-06-08 10:06:30 · 1820 阅读 · 0 评论