- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop面试中的优化问题
Hadoop企业优化的主要问题： 数据倾斜 ——频率倾斜：某一个时间段内某一个节点运行的次数太多 ——大小的倾斜：不同节点处理的数据大小相差太多 —————使用combine进行数据的合并后处理 —————对数据的原始数据进行一个采样后，根据结果集将Task进行进一步的分区设定 Map和Reduce数设置不合理 ——Map和Reduce的数量需要根据此时的任务数量来决定 Map运行时间太长，导致Reduce等待太久 小文件过多 大量不可分块的超大文件 Spill次数过多 ——环形缓冲区达到设定的大小后数据溢
2020-10-21 18:48:07
192
原创 hdfs总结
HDFS介绍 HDFS就是分布式文件管理系统，适合一次写入，多次读出，不支持修改 优缺点：（优）有副本高容错，处理大数据；（缺）不适合处理小文件，不合适低延迟处理数据 HDFS组成 NameNode（nn） 管理元数据，处理客户端请求 DataNode（dn） 储存实际数据块，执行客户端操作 SecondaryNameNode 辅助nn，定期完成checkpoint操作，不可作为热备 HDFS文件块（block）默认情况下为128M，传输时间1%为寻址时间，nn寻址时
2020-10-17 16:35:14
125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人