ziwu1226-优快云博客

原创 Hadoop面试大全【持续更新❤-个人收集用】

块是存储在文件系统最小的单元，如果采用4kb的块大小去存储到HDFS上，就需要大量的块，大大增加寻找块的时间，降低读写效率，并且map喝reduce都是一个块为处理单位，如果块很小会造成MapRduce任务书很多，任务之间开小变大，降低效率。2、元数据开销大，HDFS的元数据存储在NameNode中，每个文件和目录都会有相应的元数据记录，当有大量小文件时，元数据的数量会急剧增加，导致NameNode的内存消耗变大。如果有大量小文件，每个小文件都会占用一个块的存储空间，会造成存储空间的浪费。

2023-11-23 09:17:11 114

原创子乌笔记Spark面试大全【持续更新】

spark专为大规模数据处理而设计的快速通用的计算引擎

2023-11-23 09:15:33 197

原创 Hadoop/Hive/zookeeper问题一解通-通过问答直指面试！

负载均衡是一种计算机网络技术，用来计算计算机集群、网络连接、CPU、磁盘或其他资源中的分配负载，以达到最佳化的资源使用、最大吞吐率、最小相应时间、同时避免过载。Hadoop 3.x的核心组件Hadoop 3.x版本的核心组件有三个，分别是：HDFS、Mapreduce、Yarn为了充分利用数据，第一步是存储数据。Hadoop第一个组件是它的存储单元-Hadoop分布式文件系统，又称之为HDFS。因此，数据分布在许多计算机中并以块的形式存储，每一个块默认容量大小是128MB。

2023-09-20 16:46:02 210 1

原创 SQL面试八股文及手撕代码【更新中】

回答：首先 char 和 varchar 都是是MySQL中字符串类型中的一种基于我的理解，我认为char和varchar的区别有两个基于这些特性，char适合存储很短的字符串，或者所有值都接近同一个长度。例如非常适合存储密码的MD5值，因为这是一个定长的值；varchar适合存储字符串很长，且长短不一、差别很大的值。回答：基于我的理解，我认为MyISAm和InnoDB的区别有四个基于这些特性，在去选择合适的引擎，需要支持事务，那必须去选择InnoDB，如果大多数表操作都是查询，可以选择MyISam。

2023-09-08 10:00:50 338 1

原创子乌笔记-SQL-窗口函数

窗口函数，又称（OnLine Anallytical Processing），窗口函数，即window functions，是在之后新增的功能，简化了数据分析工作中查询语句的书写。备注：在没有窗口函数前，需要通过定义临时变量和大量的子查询才能完成的工作，使用窗口函数实现起来更加简洁、高效。窗口函数就是对数据表中一组数据进行计算的函数，这组数据跟当前行相关。

2023-09-07 15:09:28 162 1