- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop面试中的优化问题
Hadoop企业优化的主要问题：数据倾斜——频率倾斜：某一个时间段内某一个节点运行的次数太多——大小的倾斜：不同节点处理的数据大小相差太多—————使用combine进行数据的合并后处理—————对数据的原始数据进行一个采样后，根据结果集将Task进行进一步的分区设定Map和Reduce数设置不合理——Map和Reduce的数量需要根据此时的任务数量来决定Map运行时间太长，导致Reduce等待太久小文件过多大量不可分块的超大文件Spill次数过多——环形缓冲区达到设定的大小后数据溢
2020-10-21 18:48:07
166
原创 hdfs总结
HDFS介绍HDFS就是分布式文件管理系统，适合一次写入，多次读出，不支持修改优缺点：（优）有副本高容错，处理大数据；（缺）不适合处理小文件，不合适低延迟处理数据HDFS组成NameNode（nn）管理元数据，处理客户端请求DataNode（dn）储存实际数据块，执行客户端操作SecondaryNameNode辅助nn，定期完成checkpoint操作，不可作为热备HDFS文件块（block）默认情况下为128M，传输时间1%为寻址时间，nn寻址时
2020-10-17 16:35:14
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人