
Hdoop
文章平均质量分 89
大数据技术与数仓
欢迎关注我的公众号【大数据技术与数仓】
回复【资料】领取大数据书籍与视频
展开
-
大数据、数仓、Flink、spark、机器学习视频文档资料分享
关注【大数据技术与数仓】 免费领取大数据视频与书籍 回复:【资料】,获取链接地址 分享并转移 具有实践意义的大数据知识 大数据技术视频 01 关注公众号回复:资料 Flink视频 02 关注公众号回复:资料 机器学习视频 03 关注公众号回复:资料 数据结构与算法 04 关注公众号回复:...转载 2020-05-08 13:01:37 · 352 阅读 · 0 评论 -
资源调度框架YARN
目录 一、概述 二、YARN的体系结构 三、YARN的工作流程 一、概述 MapReduce1.0既是一个计算框架,也是一个资源管理调度框架。到了Hadoop2.0以后,MapReduce1.0中的资源管理调度功能,被单独分离出来形成了YARN,它是一个纯粹的资源管理调度框架,而不是一个计算框架。被剥离了资源管理调度功能的MapReduce 框架就变成了MapReduce2.0,它...原创 2018-11-21 15:14:50 · 1020 阅读 · 0 评论 -
HDFS基准测试
1.测试HDFS写性能 测试内容:向HDFS集群写10个128M的文件 $ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 结果: ...原创 2019-08-04 11:24:31 · 514 阅读 · 0 评论