从hive导入到oracle(Hcatalog)

最新推荐文章于 2022-04-15 17:32:57 发布
转载 最新推荐文章于 2022-04-15 17:32:57 发布 · 312 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/skyrim/p/7455948.html
文章标签：

#数据库 #大数据

本文详细介绍了如何使用Sqoop结合HCatalog进行数据导入导出操作，包括使用catalog的情况下的命令配置、不使用catalog的命令配置以及使用HCatalog时需要注意的事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.使用catalog的情况下: 

   
  1. sqoop export --table tableName2 \ #oracle表
  2. --connect jdbc:oracle:thin:@127.0.0.1:1521:ORCL \ 
  3. --username username \ #oracle用户
  4. --password password \ #密码
  5. --hcatalog-database DB1 \ #catalog数据库
  6. --hcatalog-table tableName2 \ #catalog表
  7. --hcatalog-partition-keys p_month \ #
  8. --hcatalog-partition-values 2016-11 \
  9. --columns "serialno",\
  10. "contractstatus",\
  11. "rno",\
  12. "rname",\
  13. "stores",\
  14. "sname",\
  15. "etl_in_dt"

  

  

   

  

 

 

  2.不使用catalog
 

 

  

   

   
  1. sqoop export --table tableName -connect jdbc:oracle:thin:@127.0.0.1:1521:ORCL
  2. --username userNameA --password pwd --export-dir sourceFile --columns "c1,c2,c3"
  3. --input-fields-terminated-by '\001' --input-lines-terminated-by '\n' 

  

  

   

  

 

 

  3.使用hcatalog要注意的地方
 

 

  import时,不支持:
 

 

  

   

    --hive-import
   

  

  

   

    --hive-overwrite
   

  

 

 

  import和export时不支持:
 

 

  

   

    --export-dir
   

  

  

   

    --target-dir
   

  

  

   

    --warehouse-dir
   

  

  

   

    --append
   

  

  

   

    --as-sequencefile
   

  

  

   

    --as-avrodatafile
   

  

  

   

    --as-parquetfile
   

  

 

 

  

 

 

  4.用hcatalog导入导出
 

 

  $SQOOP_HOME/bin/sqoop import --connect <jdbc-url> -table <table-name> --hcatalog-table txn <other sqoop options>
  

 

 

  $SQOOP_HOME/bin/sqoop export --connect <jdbc-url> -table <table-name> --hcatalog-table txn <other sqoop options>
  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

  

 

 

 

 

  

  

  

  

  

 

 

  

  

  

  

  

 

 

 

 
 

 


 

转载于:https://www.cnblogs.com/skyrim/p/7455948.html

                

        




    

    
  



    

      

        

            

              
                
                  yuxiaoyu.
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
Hive 和 Oracle 数据之间的迁转（不用第三方工具），工作中数据从hive到数据库的总结。

				
			

			

				

					li793829630的博客
				

				

					12-25
					
					786
					
				

			

		

		

			
				
Hive 和 Oracle 数据之间的迁转（不用第三方工具）
场景:  hive的数据加工完成，需要导入oracle 。
1 使用shell 重定向把查询出来的数据落地成文件
hive 导出文件 : 
 hive -e "
select 
		colum1  ,                                      
		colum2  ,                                      
		colum3  ,                         

			
		

	



                

            
              



	

		

			

				
					
基于sqoop将hive数据导入到Oracle中

				
			

			

				

					
				

				

					06-21
					
					3950
					
				

			

		

		

			
				
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。
......

			
		

	



              


  
              

                


	

		

			

				
					
利用Sqoop把Oracle数据迁移到HDFS、Hive

					
热门推荐

				
			

			

				

					u010185220的专栏
				

				

					01-17
					
					2万+
					
				

			

		

		

			
				
提示：以下操作是在Xshell终端进行的，导入数据后若在Xshell终端上查看导入的数据，数据中的中文会出现乱码。要在Linux系统（最好是在可视化的Linux系统端）中去查看数据不会出现乱码。本人刚开始一直都是在Xshell上进行数据的导入、查看测试，花了一天时间解决“乱码”情况都没解决，最后才知是Xshell终端的问题，这里提示一下。一、利用Sqoop，从Oracle到HDFS第一步：把Ora

			
		

	





	

		

			

				
					
HCatalog

				
			

			

				

					u013009809的专栏
				

				

					09-29
					
					642
					
				

			

		

		

			
				
概观

HCatalog是Hadoop的表和存储管理层，它使使用不同数据处理工具（Pig，MapReduce）的用户能够更轻松地在网格上读取和写入数据。HCatalog的表抽象为用户提供了Hadoop分布式文件系统（HDFS）中数据的关系视图，并确保用户不必担心其数据的存储位置或格式（RCFile格式，文本文件，SequenceFiles或ORC文件）。

HCatalog支持以可以写入SerDe...

			
		

	



		

			
		



	

		

			

				
					
Sqoop导Oracle数据到Hive

				
			

			

				

					12-21
				

			

		

		

			
				
Sqoop导Oracle数据到Hive,代码清晰一目了然

			
		

	





	

		

			

				
					
sqoop支持Hcatalog使用hcatalog参数后问题集锦

				
			

			

				

					cuichunchi的博客
				

				

					11-18
					
					8839
					
				

			

		

		

			
				
官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4

问题描述：

sqoop1.4.6

hadoop2.7.3

hive-2.1.1

本人编写的sqoop脚本如下：



参数解释：

--hcatalog-database

指定HCatalog表的数据库名称。如果未指定，default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.

			
		

	





	

		

			

				
					
用sqoop将oracle数据导入Hive

				
			

			

				

					u010842515的博客
				

				

					04-14
					
					1684
					
				

			

		

		

			
				
参数

说明





--

			
		

	





	

		

			

				
					
Sqoop导入导出MySQL、Oracle到HDFS、Hive

				
			

			

				

					abc5582的博客
				

				

					03-22
					
					417
					
				

			

		

		

			
				
sqoop ##sqoop命令import ##表示导入--connect jdbc:mysql://ip:3306/test ##告诉jdbc，连接mysql的url--connect jdbc:oracle:thin:@ip:1521/test ##告诉jdbc，连接oracle的url--username root ##连接mysql的用户名 非本地连接时，此用户需要允许远程连接--pass...

			
		

	





	

		

			

				
					
【干货】Apache Hive 2.1.1 安装配置超详细过程，配置hive、beeline、hwi、HCatalog、WebHCat等组件...

				
			

			

				

					开源中国博客搬家测试账号
				

				

					04-13
					
					6039
					
				

			

		

		

			
				

                            
                
                        在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群，并实现了NameNode HA、ResourceManager HA之后（详见我的另一篇博文：Apache Hadoop 2.8分布式集群详细搭建过程），接下来将搭建最新稳定版的Ap...

			
		

	





	

		

			

				
					
sqoop数据导入hive 遇到的问题

				
			

			

				

					asd1456732891的博客
				

				

					07-19
					
					1662
					
				

			

		

		

			
				
1.ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.readerFor(Ljava/lang/Class;)Lcom/fasterxml/jackson/databind/ObjectReader;

造成的原因：sqoop与hive使用的jackson包的版本...

			
		

	





	

		

			

				
					
hcatalog配置以及sqoop集成使用

				
			

			

				

					ImezZ
				

				

					01-13
					
					4169
					
				

			

		

		

			
				
hcatalog配置以及sqoop集成使用

1、环境变量配置

vim ~/.bashrc


export HCAT_HOME=/usr/hive/hcatalog
export PATH=$PATH:$HCAT_HOME/bin

2、查看hive版本下载对应的hive-hcatalog放在hcatalog目录下

查看hive版本

hive --version


Hive 2.3.6

我的hive版本是2.3.6，则在maven库下载对应的jar包

https://mvnrepository

			
		

	





	

		

			

				
					
sqoop导出export oracle,根据模板shell生成shell(执行hive,删除oracle,sqoop导出)

				
			

			

				

					weixin_33067503的博客
				

				

					04-08
					
					292
					
				

			

		

		

			
				
#!/bin/bash##########################################################################################################2016-7-5 15:52:55#       update: 2016-7-27 16:32:26#通过提供参数,获取常规的etl脚本#有四个参数: 表名 ora...

			
		

	





	

		

			

				
					
Sqoop导入数据文本格式和Sequence File的比较

				
			

			

				

					maixia24的专栏
				

				

					07-09
					
					5057
					
				

			

		

		

			
				
Sqoop可以导入数据到一些不同的文件格式。
文本格式：
文本格式（默认格式）提供一种便于人阅读的数据格式，
这种格式平台无关性，是最简单的结构。
但是，这种文件格式，不可以处理二进制字段（例如数据库中列中的可变二进制类型字段）；
不能区分出空值和包含null的字符串。
SequenceFile：
解决了文本格式的缺点。
序列化文件提供了，更精确的导入数据的替代方法的可能性。
它

			
		

	





	

		

			

				
					
hive使用orcfile parquet sequencefile

				
			

			

				

					数据技术控
				

				

					11-26
					
					5422
					
				

			

		

		

			
				
1、orcfile的使用
创建orcfile表，不压缩

  create  table d_op_behavior_host_orc_none(
thedate                 string,                                      
id                      string,

			
		

	





	

		

			

				
					
Sqoop1 详细使用和避坑指南

				
			

			

				

					afunyusong的专栏
				

				

					01-15
					
					1万+
					
				

			

		

		

			
				
经过这么几天的折腾，发现 Sqoop1 真的比 Sqoop2 方便好用的多，Sqoop2 坑真是太多了，搞不定。Sqoop1 坑少也稳定，但是零基础使用过程中也是有几点需要注意的。

官方下载：Sqoop 官网 
官方使用文档 
Sqoop-1.4.6安装部署及详细使用介绍 
如果像我一样直接用CDH里边自带的话，方便的地方是环境变量什么的不需要我再去配置了，很方便。 
要检查安装成功没，直接 s

			
		

	





	

		

			

				
					
sqoop使用hcatlog生成对应的orc格式的表

				
			

			

				

					菜皮的默默倾诉
				

				

					10-14
					
					3698
					
				

			

		

		

			
				
最近去面试,面试官提了一句,可以使用hcatlog来实现直接生成对应的parquet格式的表,不过我没有生成成功parquet表 但是生成成功了orc表 具体的原因还未知
不过终于可以直接生成orc格式的表了 orc基本上也够用了
sqoop import --connect $URL --username $USERNAME --password $PASSWORD --table erp_

			
		

	





	

		

			

				
					
Sqoop从Hive导入Oracle

				
			

			

				

					docsz的博客
				

				

					04-15
					
					1665
					
				

			

		

		

			
				
1、Sqoop从Hive导入Oracle
sqoop export \
--connect "jdbc:oracle:thin:@//IP:1521/orcl" \
--username "root" \
--password "123456" \
--table STG_ZFW_WANGGEXINXI \
--export-dir /user/hive/warehouse/mask_data.db/stg_zfw_wanggexinxi/* \
--columns XM,ZJHM,WANGGE,BUILD

			
		

	





	

		

			

				
					
hive sqoop 分区导入_sqoop导入导出实例以及多分区案例

				
			

			

				

					weixin_39904809的博客
				

				

					12-22
					
					1318
					
				

			

		

		

			
				
1.从mysql导出到hive1.只插入sqoop import \--connect jdbc:mysql://localhost:3306/test \--username escheduler_dev \--password 2wsxVFR$ \--query "select id as id,name as name,age as age from a_dem...

			
		

	





	

		

			

				
					
Sqoop1: Sqoop-HCatalog Integration

				
			

			

				

					术业有专攻
				

				

					04-14
					
					1226
					
				

			

		

		

			
				

I create a HCat table using Hue metastore manager, and submit a sqoop job with hcat through hue, the command show as blow:
import --connect jdbc:mysql://192.168.122.1:3306/sample --username zhj 
-...

			
		

	





	

		

			

				
					
datax从hive导入到oracle

					
最新发布

				
			

			

				

					11-06
				

			

		

		

			
				
要使用DataX将Hive中的数据导入Oracle数据库，你可以按照以下步骤操作：  1. **安装DataX**: 首先需要下载并安装DataX，可以在官网或者其他支持的仓库如Maven中央仓库获取。  2. **配置DataX Job**: 创建一个DataX ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值