hive资料整理系列 六 hive 配置 .

1 配置hive
1.修改bin/hive-config.sh，添加jdk支持

Java代码

1. exportJAVA_HOME=/usr/local/jdk
2. exportHIVE_HOME=/data/soft/hive
3. exportHADOOP_HOME=/data/soft/hadoop

2.在HDFS中创建目录，并且将其开放g+w模式

Java代码

1. root@master:/data/soft#hadoopfs–mkdir/tmp
2. root@master:/data/soft#hadoopfs–mkdir/user/hive/warehouse
3. root@master:/data/soft#hadoopfs–chmodg+w/tmp
4. root@master:/data/soft#hadoopfs–chmodg+w/user/hive/warehouse

通过我的试验，以上创建目录的步骤是可以省略的，Hive会自动创建需要的目录

3. 修改conf/hive-default.xml，这个是hive的关键配置，所以一般不要直接修改，新建hive-site.xml文件，将修改的内容在这个里面配置。

Xml代码

1. <property>
2. <name>hive.exec.scratchdir</name>
3. <value>/data/work/hive/tmp</value>
4. <description>ScratchspaceforHivejobs</description>
5. </property>
6. <property>
7. <name>hive.querylog.location</name>
8. <value>/data/work/hive/querylog</value>
9. </property>
10. <property>
11. <name>hive.hwi.listen.host</name>
12. <value>0.0.0.0</value>
13. <description>ThisisthehostaddresstheHiveWebInterfacewilllistenon</description>
14. </property>
15. <property>
16. <name>hive.hwi.listen.port</name>
17. <value>9999</value>
18. <description>ThisistheporttheHiveWebInterfacewilllistenon</description>
19. </property>

2）运行hive

Java代码

1. root@master:/data/soft/hive/bin#./hive
2. Hivehistoryfile=/tmp/root/hive_job_log_root_201101241057_361521373.txt
3. hive>

3）测试hive
1.创建数据表

Java代码

1. hive>createTABLEpokes(idINT,namestring);
2. OK
3. Timetaken:8.192seconds

默认是使用输入格式（input format）为text ，分割符号使用^A(ctrl-a).

2.创建分区的数据表

Java代码

1. hive>CREATETABLEinvites(fooINT,barSTRING)PARTITIONEDBY(dsSTRING);
2. OK
3. Timetaken:36.562seconds

包含2列和一个分区列（ds）。分区列是一个虚拟列。它不是数据自身的一部分，但是它由得到分区，详细数据加载到里面

3.显示数据表

Java代码

1. hive>SHOWTABLES;

显示所有的数据表

Java代码

1. hive>SHOWTABLES'.*s';

只显示以's'结尾的数据表

4.查询

Java代码

1. hive>select*frompokes;
2. OK
3. Timetaken:0.505seconds

5.从本地加载数据

Java代码

1. hive>LOADDATALOCALINPATH'./examples/files/kv1.txt'OVERWRITEINTOTABLEpokes;

这个文件位于hive的安装目录下，examples/files/kv1.txt

6.从hdfs加载数据

Java代码

1. LOADDATAINPATH'/jd/files/kv1.txt'OVERWRITEINTOTABLEpokes;

去掉LOCAL，就是从HDFS加载
关键字OVERWRITE意味着，数据表已经存在的数据将被删除。省略OVERWRITE，数据文件将会添加到原有数据列表里


7. 删除数据表

Java代码

1. hive>droptablepokes;
2. OK
3. Timetaken:0.726seconds

4）Heap size设置
Hive默认-Xmx4096m
修改hive/bin/ext/util/ execHiveCmd.sh
HADOOP_HEAPSIZE=256


5）启动Hive Thrift Server

Java代码

1. hive--servicehiveserver

默认使用10000端口，也可以使用HIVE_PORT来指定端口

Java代码

1. root@master:/data/soft/hive/bin#./hive--servicehiveserver--help
2. usageHIVE_PORT=xxxx./hive--servicehiveserver
3. HIVE_PORT:Specifytheserverport

6）启动hwi

Java代码

1. bin/hive--servicehwi

取消日志的方式

Java代码

1. nohupbin/hive--servicehwi>/dev/null2>/dev/null&

相关资料
http://wiki.apache.org/hadoop/Hive/GettingStarted
http://wiki.apache.org/hadoop/Hive/LanguageManual