从oracle导入hive

最新推荐文章于 2022-02-15 22:17:23 发布
最新推荐文章于 2022-02-15 22:17:23 发布
阅读量142 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 数据库
原文链接：http://www.cnblogs.com/skyrim/p/7455947.html
本文介绍如何利用Sqoop工具从Oracle数据库中导入数据到Hive表，并采用特定查询条件及指定数据格式存储。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


   
  1. sqoop import --connect jdbc:oracle:thin:@10.39.1.43:1521/rcrm --username bi_query --password ####################### --query " \
  2. select \
  3. item_id,\
  4. edit_id,\
  5. tenant_id,\
  6. create_date,\
  7. model_id,\
  8. parent_id,\
  9. create_id,\
  10. create_code,\
  11. edit_code,\
  12. edit_date,\
  13. item_order,\
  14. top_point,\
  15. middle_point,\
  16. item_name,\
  17. lower_point,\
  18. grade_explain,\
  19. must_grade,\
  20. to_char(SysDate,'YYYY-MM-DD HH24:mi:ss') as etl_in_dt from szdxcrm.CRM_QUALITY_ITEM where \$CONDITIONS " \
  21. --hcatalog-database S4 --hcatalog-table CRM_QUALITY_ITEM \
  22. --hcatalog-storage-stanza 'stored as ORC' --hive-delims-replacement " " -m 1

  

  

   注意在shell中执行时，
   $CONDITIONS->\
   $CONDITIONS,加入转义\
  

  

 

 

 

 

  

  

  

  

  

 

 

  

  

  

  

  

 

 

 

 
 

 


 

转载于:https://www.cnblogs.com/skyrim/p/7455947.html

                

        




    

    
  



    



                



	

		

			

				
					
使用Sqoop从Oracle导入Hive并卡在Map％Reduce％编程

				
			

			

				

					ByteWhisper的博客
				

				

					09-12
					
					185
					
				

			

		

		

			
				
其中一个常见的应用场景是将数据从Oracle数据库导入到Hive中，以便进行更复杂的数据分析和处理。在使用Sqoop将数据从Oracle导入Hive时，有时可能会遇到Map％Reduce％编程方面的问题，导致任务无法成功执行。在本篇文章中，我将详细介绍如何使用Sqoop从Oracle导入Hive，并解决可能遇到的Map％Reduce％编程问题。例如，Oracle的日期类型与Hive的日期类型可能具有不同的表示方式。您需要检查Hive和Oracle数据库的访问权限，并确保您的用户具有所需的权限。

			
		

	



                

            
              



	

		

			

				
					
记录一次sqoop从oracle导入hive 卡在 map 0% reduce 0%

				
			

			

				

					yy的博客
				

				

					07-06
					
					1280
					
				

			

		

		

			
				
问题

sqoop卡住 不报错 不结束 没有网络数据传入(通过nethogs(用来显示linux进城的网速)或者datax(另一个数据同步工具,会显示数据导入速度) ).

之前一直以为yarn内存哪里配置有问题. 后来发现.



数据人工脱敏....


sqoop import \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect jdbc:oracle:thin:@216.11.11.11:1521/test01 --u..

			
		

	



              


  
              

                


	

		

			

				
					
kettle 从oracle数据库导数据到hive 表

				
			

			

				

					03-23
				

			

		

		

			
				
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。

			
		

	





	

		

			

				
					
从Oracle导入数据到Hive中

				
			

			

				

					每个人为不同的理由带着面具说谎，动机也只有一种名字那 叫做欲望
				

				

					10-16
					
					2305
					
				

			

		

		

			
				
Oracle导入数据到Hive
Oracle Hive
大数据

			
		

	



		

			
		



	

		

			

				
					
Oracle中数据迁移到hive平台

				
			

			

				

					qq_43528451的博客
				

				

					09-01
					
					1260
					
				

			

		

		

			
				
目录

1、将数据从oracle导出为csv文件格式

oracle导出数据采用sqluldr 工具


sqluldr user/pasword query='select * from student  where age = 10' file='/home/db01/tunan/student.csv' field=',' charset='ZHS16GBK' safe=yes
-- user:用户名
-- pasword：密码
-- query：sql语句（要导出那张表的哪些字段、过滤条件等...

			
		

	





	

		

			

				
					
用sqoop将Oracle数据全量/增量导入到HIve的Shell/python脚本(第二版)

				
			

			

				

					qq_40870024的博客
				

				

					02-15
					
					2484
					
				

			

		

		

			
				
全量导入
#!/usr/bin/env bash
# /bin/bash
biz_date=20210101
biz_fmt_date=2021-01-01
dw_parent_dir=/data/dw/ods/one_make/full_imp
workhome=/opt/sqoop/one_make
full_imp_tables=${workhome}/full_import_tables.txt
mkdir ${workhome}/log

orcl_srv=oracle.bigdata.cn
or

			
		

	





	

		

			

				
					
oracle导入导出&hive交互

				
			

			

				

					
				

				

					07-19
					
					1654
					
				

			

		

		

			
				
#!/bin/ksh
# ./oracle_hive.sh -s srcname -p oo|oh
#  sh /home/oracle/bin/oracle_hive.sh -s LTE_DT_RAWDATA_GRID10 -p oo
export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK"
if [ $# -ne 4 ]; then

			
		

	





	

		

			

				
					
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive

				
			

			

				

					weixin_32503531的博客
				

				

					04-10
					
					1421
					
				

			

		

		

			
				
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...

			
		

	





	

		

			

				
					
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE

				
			

			

				

					weixin_39587010的博客
				

				

					04-12
					
					1329
					
				

			

		

		

			
				
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import  --create-hive-table --hive-table emp  -m 1;如果报类似的错:ERROR tool.I...

			
		

	





	

		

			

				
					
Sqoop从Oracle导入表到Hive

				
			

			

				

					我的博客
				

				

					04-06
					
					1万+
					
				

			

		

		

			
				
最近甲方项目希望建立大数据平台，需要将保存在Oracle中的表和记录全部导入到大数据平台中。原计划是将表导入到HBase中，作为Hive外部表，但甲方对如何使用还没有明确想法，HBase行键不好设计，但甲方又急于将数据导入试用。于是决定先将数据导入到Hive中，方便他们做统计分析试验。调研一番后，决定采用Sqoop。现将使用过程总结如下。

			
		

	





	

		

			

				
					
datax数据从hive导入mysql数据缺失解决

				
			

			

				

					01-18
				

			

		

		

			
				
datax数据从hive表导入mysql表,数据缺失解决

			
		

	





	

		

			

				
					
记一次从oracle到hive的历史数据迁移（一）

				
			

			

				

					weixin_34303897的博客
				

				

					08-30
					
					1285
					
				

			

		

		

			
				
介绍一下具体场景需要从现有在用的oracle中将历史数据迁移出来并导入到hive中，存在几个问题：1、现有oracle数据库在使用无法整个库导出，数据库服务器没有权限；2、由于各个数据提供方的各次升级，oracle数据库采取添加字段而不删除字段的方式更新，而hive中建立的表数据结构要按新的来，也就是说oracle导出的数据到hive表中需要做字段对应。  决定先...

			
		

	





	

		

			

				
					
oracle导出到hive,从Oracle导出数据并导入到Hive

				
			

			

				

					weixin_28304023的博客
				

				

					04-02
					
					1554
					
				

			

		

		

			
				
1、配置源和目标的数据连接源(oracle)： 目标(Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。 Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-common-2.1.0.jarhive-jdbc-2.1.0.jarhive-metastore-2.1.0.jar...

			
		

	





	

		

			

				
					
【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive

					
热门推荐

				
			

			

				

					赵延东的一亩三分地
				

				

					03-19
					
					17万+
					
				

			

		

		

			
				
一、介绍
将关系型数据库ORACLE的数据导入到HDFS中，可以通过Sqoop、OGG来实现，相比较ORACLE GOLDENGATE，Sqoop不仅不需要复杂的安装配置，而且传输效率很高，同时也能实现增量数据同步。
说明：本测试hadoop是单节点伪分布式环境,是基于之前写的两篇文章对应的环境操作，前两篇文章分别是：
1、Hadoop+Hive+HBase+Kylin 伪分布式安装指南
2、sq...

			
		

	





	

		

			

				
					
MySQL导入Hive - DataX方案

				
			

			

				

					thriving_fcl的博客
				

				

					08-16
					
					1万+
					
				

			

		

		

			
				
MySQL导入Hive可以用sqoop或者dump到本地再load into的方式导入Hive。还有一种方式就是用阿里开源的DataX，试了一下还挺方便的。用sqoop经常会出现数据倾斜的情况，DataX暂时还没有遇见。要使用DataX只需要填写一个json格式的配置文件即可，整个安装和使用的方法参照官方给出的Quick Start即可。配置文件中，主要填写mysqlreader与hdfswrite

			
		

	





	

		

			

				
					
Oracle 表导入 Hive 表

				
			

			

				

					三妹的博客
				

				

					10-11
					
					1053
					
				

			

		

		

			
				
一、需求

需要的数据在两个不同 Oracle 数据库中， 且其中一个数据库中的内容有一份一模一样的存在 hive 表中。

二、解决办法

将另一个 Oracle 表存入 hive 表中。

具体实现：

1. 将 Oracle 数据导出 CSV 文件：oracle_example.csv，并上传至服务器 /DATA 路径下；

2. 先根据原始 Oracle 表结构在 hive 中建立一个新表...

			
		

	





	

		

			

				
					
Sqoop从Oracle导入到Hive(小坑)

				
			

			

				

					weixin_34025151的博客
				

				

					12-01
					
					1970
					
				

			

		

		

			
				
为什么80%的码农都做不了架构师？>>> 
                                        
                ...

			
		

	





	

		

			

				
					
DataX踩坑

				
			

			

				

					Kverson
				

				

					11-18
					
					1602
					
				

			

		

		

			
				
踩坑一：
com.alibaba.fastjson.JSONObject cannot be cast to java.util.List
解决方法
将数据库等表信息不是用List格式表示的



			
		

	





	

		

			

				
					
sqoop从oracle导入数据到hive

				
			

			

				

					06-10
				

			

		

		

			
				
使用Sqoop将数据从Oracle导入到Hive需要以下步骤：

1. 确保Hive和Oracle的JDBC驱动程序已正确安装并配置在Sqoop的CLASSPATH中。
2. 在Hive中创建一个表，以便Sqoop可以将数据导入到该表中。
3. 在Sqoop中使用import命令指定源数据的连接信息、目标表的信息、以及其他参数，例如选择要导入的列、指定分隔符等。

以下是一个示例Sqoop命令，用于将Oracle中的一个表导入到Hive中：

```
sqoop import \
--connect jdbc:oracle:thin:@//localhost:1521/ORCL \
--username <username> \
--password <password> \
--table <table_name> \
--hive-import \
--hive-table <hive_table_name> \
--create-hive-table \
--fields-terminated-by ',' \
--null-string '\\N' \
--null-non-string '\\N'
```

其中，`<username>`和`<password>`是Oracle数据库的用户名和密码，`<table_name>`是要导入的Oracle表的名称，`<hive_table_name>`是要创建或导入数据的Hive表的名称。

`--hive-import`选项告诉Sqoop将数据导入到Hive中，`--create-hive-table`选项告诉Sqoop如果Hive表不存在则创建该表。

`--fields-terminated-by`选项指定源数据文件中列之间的分隔符。

`--null-string`和`--null-non-string`选项指定源数据文件中表示空值的字符串。

执行此命令后，Sqoop将使用Oracle JDBC驱动程序连接到Oracle数据库，并将数据导入到Hive表中。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值