hive
关注
分享
扫一扫
jhchengxuyuan
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive的初步认识与基本语法一
hivehive的背景：fackbook为解决海量数据分析，避免使用传统mr而开发出来类sql的操作大数据工具。hive定义hive是一个数据仓库软件，它能够使用类sql进行读、写、管理基于集群上的海量数据。hive可以对已经存在的数据进行结构，同时hive也提供命令行和jdbc让用进行连接hive。hive和hadoop的关系：hive基于hadoop，hive本身没有数据存储能...原创 2019-09-10 23:56:39 · 306 阅读 · 0 评论 -
hive的进阶之路2
hive的分桶：为了更加细粒度划分数据。语法：[CLUSTERED BY (COLUMNNAME COLUMNTYPE [COMMENT ‘COLUMN COMMENT’],…)[SORTED BY (COLUMNNAME [ASC|DESC])…] INTO NUM_BUCKETS BUCKETS]：抽样查询join提高查询效率分区&分桶分区下创建分桶表表下创建分桶表...原创 2019-09-10 23:57:37 · 160 阅读 · 0 评论 -
Hive进阶3
Hive3struct：create table if not exists str1(name string,score struct<chinese:int,math:int,english:int>---注意它的创建和array创建的不同)row format delimited fields terminated by '\t'collection items ...原创 2019-09-12 00:02:06 · 441 阅读 · 0 评论 -
tez详解
1 tez的概览1.1 tez介绍1.1.1 介绍tez是一个apache的开源项目，意在构建一个应用框架，能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上，换句话就是yarn为其提供资源。tez主要的两个设计目标:增强终端用户使用:灵活的数据流定义API灵活的输入输出运行时模型(强调处理模型)数据类型无关简洁部署高性能执行:通过mapreduce提...原创 2019-09-20 00:21:17 · 16932 阅读 · 0 评论 -
sqoop的安装以及使用详解
2.7.1 Sqoop简介以及使用官网：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html2.7.1.1 产生背景基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中；早期由于工具的缺乏，Hadoop与传统数据库之间的数据传输非常困难。基于前两个方面的考虑，需要一个在传统关系型数据库和Hadoop之间进行数据传输的项...原创 2019-09-20 14:29:12 · 388 阅读 · 0 评论 -
Flume安装与详解
大数据组件 Flume前言：里面的各种source，channel和simk时可以参考官网去满足自己的需求，看着官网可以很快的实现；https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html2.12.1 flume简介-基础知识Flume 初始的发行版本目前被统称为 Flume OG（original gener...原创 2019-09-21 16:08:06 · 526 阅读 · 0 评论 -
hive进阶四
hive进阶四hive的字段分隔符：hive默认的列与列之间的分隔符是：\001 、ctrl+V ctrl+A(^A) 、SOH 、 \u0001(多用于java输出),注意不是tab通常分隔符：tab," "|\n\001 ^A (\u0001,注意不是\0001也不是\01)\002 ^B\003 ^Chive的文件存储格式：File Formats and Co...原创 2019-09-21 19:57:51 · 781 阅读 · 0 评论