hive导入导出数据的几种方式

最新推荐文章于 2023-05-23 09:46:41 发布
最新推荐文章于 2023-05-23 09:46:41 发布
阅读量287 收藏
点赞数
分类专栏： 大数据

一，Hive数据导入的几种方式

首先列出讲述下面几种导入方式的数据和hive表。

Hive表：

创建testA：

[java]  view plain  copy
  1. CREATE TABLE testA (  
  2.     id INT,  
  3.     name string,  
  4.     area string  
  5. ) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;  

创建testB：

[java]  view plain  copy
  1. CREATE TABLE testB (  
  2.     id INT,  
  3.     name string,  
  4.     area string,  
  5.     code string  
  6. ) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;  

数据文件（sourceA.txt）：

[java]  view plain  copy
  1. 1,fish1,SZ  
  2. 2,fish2,SH  
  3. 3,fish3,HZ  
  4. 4,fish4,QD  
  5. 5,fish5,SR  
数据文件（sourceB.txt）：

[java]  view plain  copy
  1. 1,zy1,SZ,1001  
  2. 2,zy2,SH,1002  
  3. 3,zy3,HZ,1003  
  4. 4,zy4,QD,1004  
  5. 5,zy5,SR,1005  

（1）本地文件导入到Hive表

[java]  view plain  copy
  1. hive> LOAD DATA LOCAL INPATH '/home/hadoop/sourceA.txt' INTO TABLE testA PARTITION(create_time='2015-07-08');  
  2. Copying data from file:/home/hadoop/sourceA.txt  
  3. Copying file: file:/home/hadoop/sourceA.txt  
  4. Loading data to table default.testa partition (create_time=2015-07-08)  
  5. Partition default.testa{create_time=2015-07-08} stats: [numFiles=1, numRows=0, totalSize=58, rawDataSize=0]  
  6. OK  
  7. Time taken: 0.237 seconds  
  8. hive> LOAD DATA LOCAL INPATH '/home/hadoop/sourceB.txt' INTO TABLE testB PARTITION(create_time='2015-07-09');  
  9. Copying data from file:/home/hadoop/sourceB.txt  
  10. Copying file: file:/home/hadoop/sourceB.txt  
  11. Loading data to table default.testb partition (create_time=2015-07-09)  
  12. Partition default.testb{create_time=2015-07-09} stats: [numFiles=1, numRows=0, totalSize=73, rawDataSize=0]  
  13. OK  
  14. Time taken: 0.212 seconds  
  15. hive> select * from testA;  
  16. OK  
  17. 1   fish1   SZ  2015-07-08  
  18. 2   fish2   SH  2015-07-08  
  19. 3   fish3   HZ  2015-07-08  
  20. 4   fish4   QD  2015-07-08  
  21. 5   fish5   SR  2015-07-08  
  22. Time taken: 0.029 seconds, Fetched: 5 row(s)  
  23. hive> select * from testB;  
  24. OK  
  25. 1   zy1 SZ  1001    2015-07-09  
  26. 2   zy2 SH  1002    2015-07-09  
  27. 3   zy3 HZ  1003    2015-07-09  
  28. 4   zy4 QD  1004    2015-07-09  
  29. 5   zy5 SR  1005    2015-07-09  
  30. Time taken: 0.047 seconds, Fetched: 5 row(s)  


（2）Hive表导入到Hive表

将testB的数据导入到testA表

[java]  view plain  copy
  1. hive> INSERT INTO TABLE testA PARTITION(create_time='2015-07-11') select id, name, area from testB where id = 1;  
  2. ...(省略)  
  3. OK  
  4. Time taken: 14.744 seconds  
  5. hive> INSERT INTO TABLE testA PARTITION(create_time) select id, name, area, code from testB where id = 2;  
  6. <pre name="code" class="java">...(省略)  
OKTime taken: 19.852 secondshive> select * from testA;OK2 zy2 SH 10021 fish1 SZ 2015-07-082 fish2 SH 2015-07-083 fish3 HZ 2015-07-084 fish4 QD 2015-07-085 fish5 SR 2015-07-081 zy1 SZ 2015-07-11Time taken: 0.032 seconds, Fetched: 7 row(s) 

 
说明： 

 
 

 1，将testB中id=1的行，导入到testA，分区为2015-07-11
 

 2，将testB中id=2的行，导入到testA，分区create_time为id=2行的code值。
 

 
 

 （3）HDFS文件导入到Hive表
 

 将sourceA.txt和sourceB.txt传到HDFS中，路径分别是/home/hadoop/sourceA.txt和/home/hadoop/sourceB.txt中
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  hive> LOAD DATA INPATH '/home/hadoop/sourceA.txt' INTO TABLE testA PARTITION(create_time='2015-07-08');  
  2.  ...(省略)  
  3.  OK  
  4.  Time taken: 0.237 seconds  
  5.  hive> LOAD DATA INPATH '/home/hadoop/sourceB.txt' INTO TABLE testB PARTITION(create_time='2015-07-09');  
  6.  <pre name="code" class="java">...(省略)  
  7.  OK  
  8.  Time taken: 0.212 seconds  
  9.  hive> select * from testA;  
  10.  OK  
  11.  1   fish1   SZ  2015-07-08  
  12.  2   fish2   SH  2015-07-08  
  13.  3   fish3   HZ  2015-07-08  
  14.  4   fish4   QD  2015-07-08  
  15.  5   fish5   SR  2015-07-08  
  16.  Time taken: 0.029 seconds, Fetched: 5 row(s)  
  17.  hive> select * from testB;  
  18.  OK  
  19.  1   zy1 SZ  1001    2015-07-09  
  20.  2   zy2 SH  1002    2015-07-09  
  21.  3   zy3 HZ  1003    2015-07-09  
  22.  4   zy4 QD  1004    2015-07-09  
  23.  5   zy5 SR  1005    2015-07-09  
  24.  Time taken: 0.047 seconds, Fetched: 5 row(s)  
 

 

 
 

 
/home/hadoop/sourceA.txt'导入到testA表 

 
 

 /home/hadoop/sourceB.txt'导入到testB表
 

 
 

 （4）创建表的过程中从其他表导入
 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  hive> create table testC as select name, code from testB;  
  2.  Total jobs = 3  
  3.  Launching Job 1 out of 3  
  4.  Number of reduce tasks is set to 0 since there's no reduce operator  
  5.  Starting Job = job_1449746265797_0106, Tracking URL = http://hadoopcluster79:8088/proxy/application_1449746265797_0106/  
  6.  Kill Command = /home/hadoop/apache/hadoop-2.4.1/bin/hadoop job  -kill job_1449746265797_0106  
  7.  Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0  
  8.  2015-12-24 16:40:17,981 Stage-1 map = 0%,  reduce = 0%  
  9.  2015-12-24 16:40:23,115 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.11 sec  
  10.  MapReduce Total cumulative CPU time: 1 seconds 110 msec  
  11.  Ended Job = job_1449746265797_0106  
  12.  Stage-4 is selected by condition resolver.  
  13.  Stage-3 is filtered out by condition resolver.  
  14.  Stage-5 is filtered out by condition resolver.  
  15.  Moving data to: hdfs://hadoop2cluster/tmp/hive-root/hive_2015-12-24_16-40-09_983_6048680148773453194-1/-ext-10001  
  16.  Moving data to: hdfs://hadoop2cluster/home/hadoop/hivedata/warehouse/testc  
  17.  Table default.testc stats: [numFiles=1, numRows=0, totalSize=45, rawDataSize=0]  
  18.  MapReduce Jobs Launched:   
  19.  Job 0: Map: 1   Cumulative CPU: 1.11 sec   HDFS Read: 297 HDFS Write: 45 SUCCESS  
  20.  Total MapReduce CPU Time Spent: 1 seconds 110 msec  
  21.  OK  
  22.  Time taken: 14.292 seconds  
  23.  hive> desc testC;  
  24.  OK  
  25.  name                    string                                        
  26.  code                    string                                        
  27.  Time taken: 0.032 seconds, Fetched: 2 row(s)  
 

 

 

 
 

 二，Hive数据导出的几种方式
 

 (1)导出到本地文件系统
 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  hive> INSERT OVERWRITE LOCAL DIRECTORY '/home/hadoop/output' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from testA;  
  2.  Total jobs = 1  
  3.  Launching Job 1 out of 1  
  4.  Number of reduce tasks is set to 0 since there's no reduce operator  
  5.  Starting Job = job_1451024007879_0001, Tracking URL = http://hadoopcluster79:8088/proxy/application_1451024007879_0001/  
  6.  Kill Command = /home/hadoop/apache/hadoop-2.4.1/bin/hadoop job  -kill job_1451024007879_0001  
  7.  Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0  
  8.  2015-12-25 17:04:30,447 Stage-1 map = 0%,  reduce = 0%  
  9.  2015-12-25 17:04:35,616 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.16 sec  
  10.  MapReduce Total cumulative CPU time: 1 seconds 160 msec  
  11.  Ended Job = job_1451024007879_0001  
  12.  Copying data to local directory /home/hadoop/output  
  13.  Copying data to local directory /home/hadoop/output  
  14.  MapReduce Jobs Launched:   
  15.  Job 0: Map: 1   Cumulative CPU: 1.16 sec   HDFS Read: 305 HDFS Write: 110 SUCCESS  
  16.  Total MapReduce CPU Time Spent: 1 seconds 160 msec  
  17.  OK  
  18.  Time taken: 16.701 seconds  
 

 

 

 查看数据结果：
 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  [hadoop@hadoopcluster78 output]$ cat /home/hadoop/output/000000_0   
  2.  1,fish1,SZ,2015-07-08  
  3.  2,fish2,SH,2015-07-08  
  4.  3,fish3,HZ,2015-07-08  
  5.  4,fish4,QD,2015-07-08  
  6.  5,fish5,SR,2015-07-08  
 

 
通过INSERT OVERWRITE LOCAL DIRECTORY将hive表testA数据导入到/home/hadoop目录，众所周知，HQL会启动Mapreduce完成，其实/home/hadoop就是Mapreduce输出路径，产生的结果存放在文件名为：000000_0。

 

 
 
 

 (2)导出到HDFS
 

 导入到HDFS和导入本地文件类似，去掉HQL语句的LOCAL就可以了
 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  hive> INSERT OVERWRITE DIRECTORY '/home/hadoop/output' select * from testA;   
  2.  Total jobs = 3  
  3.  Launching Job 1 out of 3  
  4.  Number of reduce tasks is set to 0 since there's no reduce operator  
  5.  Starting Job = job_1451024007879_0002, Tracking URL = http://hadoopcluster79:8088/proxy/application_1451024007879_0002/  
  6.  Kill Command = /home/hadoop/apache/hadoop-2.4.1/bin/hadoop job  -kill job_1451024007879_0002  
  7.  Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0  
  8.  2015-12-25 17:08:51,034 Stage-1 map = 0%,  reduce = 0%  
  9.  2015-12-25 17:08:59,313 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.4 sec  
  10.  MapReduce Total cumulative CPU time: 1 seconds 400 msec  
  11.  Ended Job = job_1451024007879_0002  
  12.  Stage-3 is selected by condition resolver.  
  13.  Stage-2 is filtered out by condition resolver.  
  14.  Stage-4 is filtered out by condition resolver.  
  15.  Moving data to: hdfs://hadoop2cluster/home/hadoop/hivedata/hive-hadoop/hive_2015-12-25_17-08-43_733_1768532778392261937-1/-ext-10000  
  16.  Moving data to: /home/hadoop/output  
  17.  MapReduce Jobs Launched:   
  18.  Job 0: Map: 1   Cumulative CPU: 1.4 sec   HDFS Read: 305 HDFS Write: 110 SUCCESS  
  19.  Total MapReduce CPU Time Spent: 1 seconds 400 msec  
  20.  OK  
  21.  Time taken: 16.667 seconds  
 

 

 

 查看hfds输出文件：
 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  [hadoop@hadoopcluster78 bin]$ ./hadoop fs -cat /home/hadoop/output/000000_0  
  2.  1fish1SZ2015-07-08  
  3.  2fish2SH2015-07-08  
  4.  3fish3HZ2015-07-08  
  5.  4fish4QD2015-07-08  
  6.  5fish5SR2015-07-08  
 

 

 其他
 
 

 采用hive的-e和-f参数来导出数据。
 

 参数为： -e 的使用方式，后面接SQL语句。>>后面为输出文件路径
 
 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  [hadoop@hadoopcluster78 bin]$ ./hive -e "select * from testA" >> /home/hadoop/output/testA.txt  
  2.  15/12/25 17:15:07 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  3.    
  4.  Logging initialized using configuration in file:/home/hadoop/apache/hive-0.13.1/conf/hive-log4j.properties  
  5.  OK  
  6.  Time taken: 1.128 seconds, Fetched: 5 row(s)  
  7.  [hadoop@hadoopcluster78 bin]$ cat /home/hadoop/output/testA.txt   
  8.  1   fish1   SZ  2015-07-08  
  9.  2   fish2   SH  2015-07-08  
  10.  3   fish3   HZ  2015-07-08  
  11.  4   fish4   QD  2015-07-08  
  12.  5   fish5   SR  2015-07-08  
 

 

 
参数为：
 -f 
的使用方式，后面接存放sql语句的文件。
>>
后面为输出文件路径

 

 SQL语句文件：
 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  [hadoop@hadoopcluster78 bin]$ cat /home/hadoop/output/sql.sql   
  2.  select * from testA  
 

 

 
使用-f参数执行： 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  [hadoop@hadoopcluster78 bin]$ ./hive -f /home/hadoop/output/sql.sql >> /home/hadoop/output/testB.txt  
  2.  15/12/25 17:20:52 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  3.    
  4.  Logging initialized using configuration in file:/home/hadoop/apache/hive-0.13.1/conf/hive-log4j.properties  
  5.  OK  
  6.  Time taken: 1.1 seconds, Fetched: 5 row(s)  
 

 

 
参看结果： 

 
 

 
 
 
  
 
   [java] 
   view plain
    copy 
   
 
   
 
   
 
   
 
   
  
 
 
 
 
  1.  [hadoop@hadoopcluster78 bin]$ cat /home/hadoop/output/testB.txt   
  2.  1   fish1   SZ  2015-07-08  
  3.  2   fish2   SH  2015-07-08  
  4.  3   fish3   HZ  2015-07-08  
  5.  4   fish4   QD  2015-07-08  
  6.  5   fish5   SR  2015-07-08  
 


                

        

    

    
  



    



                



	

		

			

				
					
Hive数仓导入导出

				
			

			

				

					大壮的博客
				

				

					07-06
					
					1513
					
				

			

		

		

			
				
Hive数仓导入导出，分隔符
​首先看下导出吧，我们准备sql。那么首先我们看到，两张表给运营提供数据。另一方面，让我们看看hive的强大。
先看一下两张表数据量：
 select count(dt) from d.d_safedata_base_day             数据量：10836008
 select count(dt) from d.d

			
		

	



                

            
              



	

		

			

				
					
Hive几种数据导入导出的方式

				
			

			

				

					gxd520的专栏
				

				

					08-01
					
					379
					
				

			

		

		

			
				
Hive中数据导入导出还是很常用的，下面简单记录一下这几种方式，方便查阅。
数据导入
在将文件中的数据导入都Hive表中的时候，字段的分隔符只有在建表的时候指定，导入的时候无法指定字段分隔符。

本地文件系统导入到Hive

hive> load data local inpath '/home/hdfs/user.txt' into table user;
分区表
hive> loa...

			
		

	



              


  
              

                


	

		

			

				
					
hive数据导入导出

				
			

			

				

					weixin_40083227的博客
				

				

					02-19
					
					447
					
				

			

		

		

			
				
Hive数据导入导出的几种方式
一，Hive数据导入的几种方式
首先列出讲述下面几种导入方式的数据和hive表。
导入：
本地文件导入到Hive表；
Hive表导入到Hive表;
HDFS文件导入到Hive表;
创建表的过程中从其他表导入;
通过sqoop将mysql库导入到Hive表；示例见《通过sqoop进行mysql与hive的导入导出》和《定时从大数据平台同步HIVE数据到oracle》
...

			
		

	





	

		

			

				
					
hive-数据导入导出(超级详细)

				
			

			

				

					互联网知识分享
				

				

					05-23
					
					1837
					
				

			

		

		

			
				
而hdfs中create的表名在hdfs是看不到的，只有 location 的表名可以看到，虽然上下的两个表名可以不一致，但是一般使用一样容易区分,注释:从表3查询出来的结果给表1和表2做为数据插入，其中表1和表2可以是临时要创建的新字段，也可以是旧字段，当然3个表也可以是相同。）注释: 表名1的数据要导入给表名2 ，表的结构是要相同的，内部表对内部表，外部表对外部表，且字段结构个数都要相同。partition(1级分区字段=值[,2级分区字段=值]) values(a,b,...)

			
		

	



		

			
		



	

		

			

				
					
HIVE表中导入导出数据的几种方式

				
			

			

				

					qq_37805784的博客
				

				

					12-27
					
					1401
					
				

			

		

		

			
				
一：往HIVE表中导入导出数据
语法结构:[ ]带括号的表示可选择字段
LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO
TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)]
各种参数说明：
1-hive只对导入该表中的数据按照自己的方式 处理，对于错误的数据不管，超出直接丢...

			
		

	





	

		

			

				
					
hive：table表中的数据的导出导出几种方式(DML数据操作)

				
			

			

				

					不花的花和尚的博客
				

				

					02-10
					
					3608
					
				

			

		

		

			
				
导入：

本地文件导入到Hive表；
	Hive表导入到Hive表;
	HDFS文件导入到Hive表;
	创建表的过程中从其他表导入;
	通过sqoop将mysql库导入到Hive表
导出：

Hive表导出到本地文件系统；
	Hive表导出到HDFS；
	通过sqoop将Hive表导出到mysql库；


Hive数据导出的几种方式：

1.hive shell

 1) 导出到本地目录
...

			
		

	





	

		

			

				
					
datax数据从hive导入mysql数据缺失解决

				
			

			

				

					01-18
				

			

		

		

			
				
### DataX 数据从 Hive 导入 MySQL 数据缺失解决  #### 背景介绍 在大数据处理领域，Hive 和 MySQL 分别作为数据仓库与关系型数据库的重要组成部分，在数据流转过程中承担着关键角色。Hive 通常用于存储海量数据并...

			
		

	





	

		

			

				
					
HIVE 导入导出文件

				
			

			

				

					半吊子Kyle的博客
				

				

					04-11
					
					2398
					
				

			

		

		

			
				
HIVE 导入导出文件导入文件导出文件表中的数据到本地文件表中数据到 HDFS
参考：
HIVE 导出文件
导入文件
导出文件
表中的数据到本地文件
其实在实际开发场景，一些关键性的数据可能还是需要我们导出来，然后下发给业务，所以此时就需要一些导出数据的操作，需要注意以下几点：
1. 文件夹路径的文件夹应该是一个空文件夹，防止原数据被覆盖
2. 如果使用了 LOCAL 关键字，HIVE 会把数据写入到本地文件系统中
3. 数据会序列化到本地文件中，字段的分隔符默认为 ^A，行的分隔符默认为新的一行，如果字段

			
		

	





	

		

			

				
					
Hive中数据的导入与导出的几种方式

				
			

			

				

					mo
				

				

					06-15
					
					460
					
				

			

		

		

			
				
数据的导入：
1.向已经建立好的表中加载数据：
语法： load data [local]  inpath ‘/opt/module/datas/student.txt’ [overwrite] | into table tablename  [partition (partcol1=val1,…)];
中括号代表可以省略。
参数意义：
local: 表示从本地加载数据到hive表；否则从HDFS加载数据到hive表。
overwrite:表示覆盖表中已有数据，否则表示追加。
partition:表示上传到

			
		

	





	

		

			

				
					
HIVE数据导入和导出方式

				
			

			

				

					AnameJL的博客
				

				

					06-18
					
					1082
					
				

			

		

		

			
				
数据导入
1. 将数据直接导入上传到表对应HDFS文件夹中
这个方法相对比较简单粗暴,通过hdfs的shell客户端命令,将数据文件直接上传到hdfs文件系统中就可以了.
shell客户端命令:
hdfs  dfs  /本地路径/所要上传的文件  /hdfs文件系统中的路径
2. 使用load命令
1. 使用命令将本地数据导入到表中
语法:
load data local inpath /path/filename.txt into table tbName;
例子:

2. 使用命令导入HDFS中的数据到

			
		

	





	

		

			

				
					
hive导入/导出表数据

				
			

			

				

					qq_28603127的博客
				

				

					06-14
					
					457
					
				

			

		

		

			
				
导入
准备数据

创建表
create table hive_test(id int,name string) row format delimited fields terminated by ',';

1 直接导入本地文件
load data local inpath '/export/data/hive_input/hive_test.txt' into table hive_test;

如果是hdfs文件去除local
2 put文件到hive对应的hdfs文件
先创建表,然后通过将文件上传到h

			
		

	





	

		

			

				
					
Hive导入导出操作-06

				
			

			

				

					kxj19980524的博客
				

				

					04-24
					
					260
					
				

			

		

		

			
				
对表进行操作

把别的表的部分或全部字段及其内容提取出来,创建成一个新的表.

create table emp2 as select empno,ename,job from emp;





create table emp3 like emp; 复制表结构 like关键字,不会复制数据



insert导入,跟上面创建表直接导入数据的意思一样.只不过这个得表提前存在.
追加-a...

			
		

	





	

		

			

				
					
Hive在执行插入数据等job任务出错

				
			

			

				

					fengjinghong的博客
				

				

					05-30
					
					8507
					
				

			

		

		

			
				
1、完全分布式中hive的执行模式
参考博客
问题描述：
Hive在执行job任务时候卡死并报出信息：Number of reduce tasks is set to 0 since there’s no reduce operator（翻译：由于没有减少操作符，减少任务数被设置为0），如图：

这样的情况下，Hive 已经无法继续执行，只能退出重启hive(但是依然不能执行)。这是因为虽然输入文件很小，但是需要加载的文件很大，根本吃不消。
解决问题：
Hive支持任务执行选择本地模式(local mode

			
		

	





	

		

			

				
					
Hive基本操作

				
			

			

				

					zhou920786312的博客
				

				

					03-16
					
					1168
					
				

			

		

		

			
				
Hive基本操作

建表语法


CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

[(col_name data_type [COMMENT col_comment], ...)]

[COMMENT table_comment]

[PARTITIONED BY (col_name data_type [COMMENT c...

			
		

	





	

		

			

				
					
hive生产实践问题（一）在使用Hive Client跑job时，一直提示job被kill，

				
			

			

				

					xuxu96
				

				

					03-31
					
					4082
					
				

			

		

		

			
				
然后观察YARN的WebUI进行查看，如图：

然后观察Hive Client的控制台输出，如下：
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_1552895066408_0001, Tracking URL = htt...

			
		

	





	

		

			

				
					
hadoop报错处理

				
			

			

				

					hanling1111的专栏
				

				

					04-07
					
					507
					
				

			

		

		

			
				

Number of reduce tasks is set to 0 since there's no reduce operatorjava.net.UnknownHostException: backup.server: backup.server    at java.net.InetAddress.getLocalHost(InetAddress.java:1496)    at or...

			
		

	





	

		

			

				
					
Hive数据导入导出的几种方式

					
热门推荐

				
			

			

				

					qianshanding0708的博客
				

				

					12-25
					
					1万+
					
				

			

		

		

			
				
一，Hive数据导入的几种方式

首先列出讲述下面几种导入方式的数据和hive表。

Hive表：

创建testA：

 


CREATE TABLE testA (
	id INT,
	name string,
	area string
) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED B...

			
		

	





	

		

			

				
					
Hive数据操作

				
			

			

				

					蔡先生的专栏
				

				

					03-11
					
					817
					
				

			

		

		

			
				
1.向数据表中加载文件

当数据被加载到表时，不会对数据进行任何变换，LOAD操作只是将数据复制到Hive表对应的位置。
代码：
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE table_name [PARTITION (partitioncol=val,...)]
filepath可以是相对路径，绝对路径或完整的U

			
		

	





	

		

			

				
					
Java实现Hive至HBase数据快速导入技术

				
			

			

				

					
				

			

		

		

			
				
3. **数据导入**：HBase Bulk Load是将数据导入到HBase的一种高效方式，它绕过了RegionServer，直接将数据文件加载到HDFS的HBase目录下，并通过HBase的导入命令（Import）将数据文件直接导入到HBase表中。...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值