- 博客(3)
- 收藏
- 关注
原创 大数据学习week3
大数据学习week3Hive基础部分Hive的体系架构常见的三个面试问题Hive 建表高阶语句 CTAS and CTE分区(partition):分桶(Buckets)Hive进阶部分什么是数据仓库Hive的视图hive mapjoin学习回顾 Hive基础部分 Hive的体系架构 用户接口主要有三个:CLI(command line interface)命令行,JDBC 和 Web UI, CLI是开发过程中常用的接口,在hive Server2提供新的命令beeline,使用sqlline语法,会有
2022-03-28 21:01:19
1446
原创 大数据学习week2
大数据学习week1MapReduce什么是切片如何控制map的数量?combine和reduce本质区别:分区(partition):Apache Hive什么是数据仓库Hive的优势和特点hive不存储数据,是一个ONAP引擎学习回顾 MapReduce map阶段:是将原数据(存储在hdfs上)按照处理的业务逻辑转换为k-v数据格式 reduce阶段:对map阶段处理完的数据进行汇总,按照需求进行处理,最终输出到hdfs,reduce阶段最终输出到hdfs是也是l-v的数据格式 什么是切片 Input
2022-03-20 21:58:42
1621
原创 大数据学习week1
大数据学习week1什么是大数据大数据的特征数据分析定义及特征定义:特征:hadoop的生态图并发与并行Namenode和Datanode为什么不放在一个节点?Datanode(DN)学习回顾 什么是大数据 大数据是一个一个描述大量高速,复杂和可变数据的术语,需要先进的技术来实现信息的捕获,存储,分发,管理和分析。 大数据的特征 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: Volume(体量) – 90% c
2022-03-13 18:39:08
1949
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅