- 博客(4)
- 收藏
- 关注
RSS订阅原创 2020-11-28
**快速排序**在这里插入代public class QuickSort {public static void quickSort(int[]arr, int left, int right){//进行判断，left不能比right大if(left>right){return;}//定义变量i，指向最左边int i=left;//定义变量j，指向最右边int j=right;//以数组最左边的为基准位baseint base = arr[left];while (i&l
2020-11-28 21:22:39
77
原创 2020-09-01
HDFSNamenode :管理 HDFS 的 名称空间；配置副本策略；管理用户的块映射信息；处理客户端读写请求；Datanode :Namenode 下达命令，Datanode 执行命令存储实际的数据块执行数据块的读写操作client文件切片，当文件被上传到HDFS,client 将文件切割成一个一个Block, 然后进行上传与NameNode交互，获得文件的位置信息;与DataNode交互，读或写数据;客户端提供了一些命令来管理HDFS,如NameNode格式;
2020-09-01 21:16:58
80
原创 Fetch抓取
Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROMemp;在这种情况下，Hive可以简单地读取emp对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。...
2020-08-21 20:01:22
653
原创 文件存储格式
文件存储格式Hive支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。1 列式存储和行式存储如图所示左边为逻辑表，右边第一个为行式存储，第二个为列式存储。1）行存储的特点查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。2）列存储的特点因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段
2020-08-21 19:53:11
865
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人