
Hadoop Eco
leonardy
这个作者很懒,什么都没留下…
展开
-
Hive(二)安装(derby&mariadb)
Hive(二)安装1. 事前准备2. 安装部署2.1 Hive安装及配置2.1.1解压下载的Hive包2.1.2 配置hive-env.sh2.1.3 配置hive-site.xml2.1.4 启动集群创建目录2.1.5 初始化schema2.1.6 启动Hive的CLI1. 事前准备(1)HDFS+YARN集群Hive是基于Hadoop的,其查询底层执行的是MapReduce任务,所以请先...原创 2020-01-31 18:16:33 · 563 阅读 · 0 评论 -
Hadoop学习之-Avro
Apache Avro关于Avro1.Avro的特点2.Avro数据类型2-1.基本数据类型2-2.Parquet的逻辑类型关于Avro2010年Google公司发表了一篇名为Dremel: Interactive Analysis of Web-Scale Datasets的论文。于是Parquet的缔造者们(Twitter和Cloudera的工程师),开发出了Parquet。1.Avr...原创 2019-11-15 10:19:59 · 330 阅读 · 0 评论 -
Hadoop学习之-Parquet
Apache Avro关于AvroAvro的特点Avro数据类型和架构合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入关于Avr...原创 2019-11-15 10:20:15 · 2656 阅读 · 0 评论 -
Hadoop学习之-Flume
Apache Flume关于Flume1.安装Flume2.Flume样例3.事务和可靠性4.HDFS sink关于FlumeHadoop的宗旨是处理大型数据集。通常,我们假设这些数据已经存储在HDFS中,但是如果数据不再HDFS怎么办?设计Flume的宗旨是向Hadoop批量导入基于事件的海量数据。Flueme通常用来向Hadoop导入日志文件。1.安装Flume①首先下载并解压Ap...原创 2019-11-15 10:20:37 · 286 阅读 · 0 评论