
大数据基础知识
文章平均质量分 83
梵高今天学习了嘛
一个不想当小白的小白,请多多指教!!!
展开
-
Hive 数据倾斜问题定位排查及解决
Hive数据倾斜问题定位排查及解决转载 2022-08-01 14:27:04 · 424 阅读 · 0 评论 -
HDFS小文件危害以及如何解决
HDFS小文件危害以及如何解决 小文件的定义 文件大小小于或者等于30M的文件 hdfs小文件带来危害 (1)HDFS不适合大量小文件的存储,因namenode将文件系统的元数据存放在内存中,因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存甚至撑爆内存 (2)HDFS适用于高吞吐量,而不适合低时间延迟的访问。如果同时存入大量的小文件会花费很长的时间。hive或者spark计算的时候会影响他们的速度,因为sp原创 2021-01-18 14:26:22 · 2240 阅读 · 0 评论