写博客只为学习

[size=large][b]Hive 是什么[/b][/size][color=red][b]Hive是建立在Hadoop上的数据仓库基础构架。[/b][/color]它提供了一系列的工具，[color=red][b]可以用来进行数据提取转化加载（ETL）[/b][/color]，[color=blue][b]这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。[/b][...

构信息有关的有9张，其余的10多张或为空，或只有简单的几条记录，以下是部分主要表的简要说明。[img]http://dl2.iteye.com/upload/attachment/0124/1683/1b6be851-7894-3019-a29a-eb0a9354dd23.png[/img]从上面表的内容来看，hive整个创建表的过程已经比较清楚了。 [color=red][b]1. 解析用户提交hive语句，对其进行解析，分解为表、字段、分区等hive对象 [/b][/color][b

XTFILE为默认格式，建表时不指定,默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 [/b][/color][size=x-large][color=red][b]SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从textfile表中用insert导入到SequenceFile,RCFile表中。 [/b][/color][/size][size=large][color=red][b]TEXTF

7 [color=red][b]字符串反转函数：reverse [/b][/color]语法: reverse(string A) 返回值: string 说明：返回字符串A的反转结果 举例： hive> select reverse(‘abcedfg’) from dual; gfdecba [color=red][b]字符串连接函数：concat [/b][/color]语法: concat(string A, string B…) 返回值: str

ISTS b( telno STRING, other STRING )PARTITIONED BY(day String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'; [/code][color=red][b]测试表a中数据如下：[/b][/color] hive> select * from a; OK 130 a 01 131 b 01 132 c 01 133 d 01 134 e 01

Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred程序中。 案例： [code="sql"]SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)[/code

中的每一条记录对应于文件中的一行，各个字段的值是被指定的分隔符分隔的。[/b][/color]在读数据的时候，会将文件行以分隔符分隔字段值，并将各个值按顺序给字段；[color=red][b]现有的 hive 的权限基于文件的，如果某个用户对表对应的文件有读的权限，那么用户就对表有读的权限。 [/b][/color]当前 hive 运用最多的是分区，hive 会将各个分区的数据分别放在不同的文件夹下； [color=red][b]在用 hive 执行 SQL 语句时，是将语句处理成 mapreduc

转化加载（ETL）[/b][/color]，[color=blue][b]这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。[/b][/color]Hive 定义了简单的类SQL 查询语言，[b]称为 QL，它允许熟悉 SQL 的用户查询数据[/b]。同时，[b]这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。[/b]Hive没有专门的数据格式。 Hive 可以

[size=x-large][color=red][b]1. 使用HIVE注意点[/b][/color][/size][b]字符集 [/b][color=red][b]Hadoop和Hive都是用UTF-8编码的，所以, 所有中文必须是UTF-8编码, 才能正常使用。 [/b][/color]备注：中文数据load到表里面,，如果字符集不同，很有可能全是乱码需要做转码的，但是hiv...

[size=x-large][color=red][b]Hive元数据库[/b][/color][/size][b]Hive将元数据存储在RDBMS 中，一般常用的有MySQL和DERBY。 [/b]hive元数据对应的表约有20个，其中和表结构信息有关的有9张，其余的10多张或为空，或只有简单的几条记录，以下是部分主要表的简要说明。[img]http://dl2.iteye.co...

[size=medium][color=red][b]Hive文件存储格式包括以下几类：[/b][/color][/size][code="txt"]1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.自定义格式 [/code][color=blue][b]其中TEXTFILE为默认格式，建表时不指定,默认为这个格式，导入数据时会直接把数据文件...

[color=red][b]字符串长度函数：length [/b][/color]语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length(‘abcedfg’) from dual; 7 [color=red][b]字符串反转函数：reverse [/b][/color]语法: reve...

[code="sql"]CREATE EXTERNAL TABLE IF NOT EXISTS a( telno STRING, other STRING )PARTITIONED BY(day String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'; CREATE EXTERNAL TABLE IF NOT EX...

[color=red][b]一、join优化 [/b][/color] Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中...

[size=large][b]一.Hive 简介 [/b][/size][color=red][b]Hive是基于 Hadoop 分布式文件系统的一种数据库，它的数据都是以文件形式存在的。 [/b][/color][color=blue][b]Hive中的每一条记录对应于文件中的一行，各个字段的值是被指定的分隔符分隔的。[/b][/color]在读数据的时候，会将文件行以分隔符分隔字段值，...