oracle数据库中Date类型倒入到hive中出现时分秒截断问题解决方案

最新推荐文章于 2022-11-11 22:59:44 发布
转载 最新推荐文章于 2022-11-11 22:59:44 发布 · 3.6k 阅读 · 2

本文介绍了一种使用SQOOP将Oracle数据导入HIVE时遇到的日期截断问题及其解决方案。通过调整--map-column-java和--map-column-hive参数，可以确保日期字段能够精确到秒。

1.问题描述：

    用sqoop将oracle数据表倒入到hive中，oracle中Date型数据会出现时分秒截断问题，只保留了‘yyyy-MM-dd',而不是’yyyy-MM-dd HH24:mi:ss'格式的，后面的‘HH24:mi:ss’被自动截断了，在对时间要求到秒级的分析处理中这种截断会产生问题。

2.解决方案：

    在用sqoop倒入数据表是，添加--map-column-hive 和--map-column-java参数，来改变数据表列的默认映射类型（默认情况下sqoop倒入hive中Date类型会被映射成String），将Date列映射成Timestamp类型，在我的问题中我是通过sqoop创建job，进行数据表按时间增量倒入的，PASSTIME列的数据类型是Date，脚本如下：

sqoop job --create jobimport2hiveofv_vehicleinfo -- import --hive-import --map-column-java PASSTIME=java.sql.Timestamp --map-column-hive PASSTIME=TIMESTAMP --incremental append --connect jdbc:oracle:thin:@118.228.196.29:1521/pmptgdbanalyze --username SAN --password PASS --verbose -m 1 --bindir /opt/sqoop-1.4.4/lib --table V_VEHICLEINFO --check-column PASSTIME --last-value '2014-04-20 12:00:00'

注意：

1）红色字体标注的两个参数用来改变列的映射类型，蓝色字体标注的是数据类型，java.sql.Timestamp要带包名写全，否则可能会出错。

2）--map-column-java和--map-column-hive连个参数都要显示给出，如果只给出--map-column-hive那么只会改变hive中表列的数据类型，而codegen生成的Tablename.java源文件中还会是java.sql.Date类型，这样在转换成hive表中的TIMESTAMP类型时，就会出错导致hive中的PASSTIME字段全部为null。原因可能是由于Date类型默认格式‘yyyy-M-dd'，而转化到hive Timestamp类型时，严格要求按照’yyyy-mm-dd hh:mm:ss[.f...]'格式转换，参见hive官网timestamp格式说明。

3)如果不设置--map-column-hive参数，只设置--map-column-java 为java.sq..Timestamp，也可以实现数据精确到时分秒，只不过以string类型保存到列hive中。事实上，在我实验后，发现如果指定--mapcolumn-hive参数为timestamp，在java中使用对应的时间where比较条件时，无法查出数据，反而，指定--map-column-hive参数为string，却能够在hive中和java代码中都能够使用时间列参与查询。

利用Spark将DataFrame、Hive数据写入Oracle
NASAXK的博客
03-23 8366
本篇博文的主要内容： 1、分析Spark读写Oracle方法 2、DataFrame数据写入Oracle 3、Hive数据写入Oracle DataFrame是在Spark1.3.0中推出的新的api，它借鉴了R语言DataFrame的一些优点，这让spark具备了处理大规模结构化数据的能力。作为Spark初学者，在通过学习使用Spark读写RDBMS数据的过程中，遇到了一系统的问
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1450
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
oracle中的时间改为hive中的时间
m0_45951512的博客
04-19 2503
oracle中的时间改为hive中的时间
将Oracle中的数据导入到hive中，发现时间格式出错，丢失小时：分钟：秒
JJBOOM425的博客
11-30 1406
今天由于项目需求，需要将Oracle中的某表数据使用sqoop导入到hive中，但是在导入过程中出现了一些小问题，原先时间数据为 年-月-日 时:分:秒，结果导入后别的数据没有问题，但是时间数据只有 年-月-日。这里讲如何解决这个问题。 首先先看看我导入的表结构： 第一次导入的语句： sqoop import --connect jdbc:oracle:thin:@192.168...
oracle 插入时间类型无效 timestamp
xwq911的专栏
07-23 6850
oracle数据库 时间 TIMESTAMP(6)这是什么类型啊 怎么也插不进数据 解决： 时间戳类型，参数6指的是表示秒的数字的小数点右边可以存储6位数字，最多9位。 插入时，如下方式： insert into test4 values(to_timestamp('2013-12-12 23:23:23.112324233','yyyy-mm--dd hh24:mi:ss.ff'
hive中ODS日期格式数据到oracle
chaojizhunmengzhe90的博客
01-15 560
日期格式转换 hive中ODS日期格式数据到oracle，数据格式在秒后面还有一个.0,而且格式是varchar2类型，不嫩直接用to_date 解决办法： 举例： select substr(creation_time,0,10) from ds_avi_keypart_bind_gx，先截取前10位字符 select to_date(substr(creation_time,0,10),‘yyyy-MM-dd’) from ds_avi_keypart_bind_gx 再用to_date转换成日期格
kettle 从oracle数据库导数据到hive 表
03-23
在企业级数据处理场景中，随着大数据技术的发展，越来越多的企业选择将原有的关系型数据库（如 Oracle）中的数据迁移到基于 Hadoop 生态系统的数据仓库（如 Hive、HBase）中。这种迁移不仅可以充分利用大数据平台的...
hive与Oracle数据库的相互同步
白元霞的博客
02-14 2405
1、Oracle数据同步到hive 1.1 不是分区表，覆盖数据 sqoop import --connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名--password 密码 --table LTE_CELL_HIGHTRAFFIC_PRE --num-mappers 1 --fields-terminated-by "|" --hive-import --hive-table wxwy.lte_cell_hightraffic_pre --hive-ov
通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程
舒克的博客
04-10 4792
Sqoop是一款开源的工具主要用于在Hadoop(Hive，HBasw)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 将各种关系型数据导入Hive中，其实大同小异，这里就以Oracle数据为例
基于sqoop将hive数据导入到Oracle中
06-21 3991
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ......
dataframe 转时间戳
Caiqiudan的博客
12-14 1762
from datetime import datetime # review_date 转为时间戳形式 def time2stamp(cmnttime): #转时间戳函数 cmnttime=datetime.strptime(cmnttime,'%Y-%m-%d %H:%M:%S') stamp=int(datetime.timestamp(cmnttime)) return stamp df_drop_m['review_date'].apply(lambda x: time2
oracle到hive数据类型转换
热门推荐
jiguanglong的博客
08-13 1万+
oracle和hive中的数据类型存在差异，在oracle集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和oracle结构一致的表。 oracle到hive数据类型映射参考如下： select case when t1.column_id=1 then 'CREATE TABLE IF NOT EXISTS '||'project'||'....
Sqoop将数据从oracle导入到hive时，数据错位的问题解决
SunWuKong_Hadoop的博客
04-25 2012
问题一：导入的列有换行符等其他字符如何解决 在使用sqoop将数据从oracle导入hive时，对数据进行验证，发现hive中的数据比oracle的多，然后发现多出来的数据严重错位，大量字段为null 怀疑是某些字段含有了hive默认的分隔符，如“\n”，“\r”，“\01” 解决办法是增加参数--hive-drop-import-delims来解决 Hive will have prob...
将hive数据库中的表数据导入oracle数据库中的方法
qq_73428784的博客
11-11 1234
hive数据导入oracle数据库
oracle hive 数据类型,查询oracle数据字典，并对应出hive的数据类型
weixin_39722965的博客
04-11 745
SQL开始selectt2.owner||'.'||t2.TABLE_NAME 源表名,'dl_{0}_seq.'||'tt_{1}_'||lower(t2.table_name) hive表名,nvl(t3.comments,'{2}') hive表注释,lower(t2.COLUMN_NAME) 字段名,t2.DATA_TYPE 源类型,casewhen instr(t2.DATA_TYPE,...
怎么把hive的数据导入到oracle,利用sqoop将hive/hdfs数据导入Oracle中
weixin_34177601的博客
04-04 990
首先我们要安装好sqoop 笔者我用的是sqoop1 其次我们需要ojdbc6.jar 这个jar 包下载地址如下： http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html 将解压的包 复制到sqoop安装目录下的lib 目录中 最后执行我们的导入首先我们要安装好sqoop笔者我用的...
oracle/mysql/hive日期时间格式转换及常用计算方法对比总结
KIDxu的博客
11-28 2559
因为笔者最近写sql徘徊在mysql、oracle、hive之中，有些函数容易搞混。因此在这里作个简单的总结，加深一下自己的印象，避免每次都要百度一下。 一、获取系统时间 sql语句 结果 oracle select sysdate from dual; mysql select now(), sysdate(...
将oracle表格转成hive建表使用textfile格式
weixin_44646794的博客
11-25 2387
oracle表格转成hive建表
scala 读取oracle,spark读写Oracle、hive的艰辛之路（二）-Oracle的date类型
weixin_29580123的博客
04-03 473
近期又有需求为：导入Oracle的表到hive库中；关于spark读取Oracle到hive有以下两点需要说明：1、数据量较小时，可以直接使用spark.read.jdbc(orclUrl,table_name,orclProperties)读取，效率应该没什么问题，能很快完成；2、数据量较大时候，使用spark.read.jdbc(orclUrl,table_name,分区条件,orclProp...
oracle中current_date函数返回结果是精确到天还是包含时分秒
最新发布
09-26
<think> 我们正在讨论Oracle数据库，而不是Hive。用户的问题是：Oracle中current_date函数返回结果是精确到天还是包含时分秒？ 根据引用[1]中的对比表格，Oracle的当前日期函数是sysdate（或current_date），但表格中显示Oracle的"年月日"使用to_char(sysdate,'YYYY-MM-DD')，而"时分秒"使用to_char(sysdate,'hh24:mi:ss')。但是，我们需要明确current_date函数的具体行为。 实际上，在Oracle中，current_date函数与sysdate函数类似，但有一个重要区别：current_date返回的是当前会话时区的当前日期和时间，而sysdate返回的是数据库服务器操作系统的日期和时间。但两者都包含日期和时间（即时分秒）。 然而，引用中没有直接提到current_date。我们需要从其他引用中推断。引用[3]讨论了date和timestamp类型，其中date类型在Oracle中实际上包含日期和时间（精确到秒），而timestamp可以包含小数秒（最高9位）。因此，Oracle中的DATE类型总是包含日期和时间（精确到秒）。 Oracle的current_date函数返回的是一个DATE类型的数据，因此它必然包含时分秒。 为了确认，我们可以参考Oracle官方文档：current_date函数返回当前会话时区的当前日期，数据类型为DATE。而Oracle的DATE数据类型包含年、月、日、时、分、秒。 因此，答案是：Oracle的current_date函数返回的结果包含时分秒。 但是，用户可能会看到显示问题：当使用SQL*Plus等工具查询时，如果默认的日期格式只显示日期部分，那么可能看不到时间部分。但实际值中是包含时间的。可以通过设置会话的日期格式来显示时间部分。 例如： 默认情况下，SELECT current_date FROM dual; 可能只显示日期（如05-OCT-23），但实际上包含时间。 我们可以通过改变会话的日期格式来验证： ALTER SESSION SET NLS_DATE_FORMAT = 'YYYY-MM-DD HH24:MI:SS'; SELECT current_date FROM dual; 此时将显示完整的日期和时间。 所以，结论是：Oracle的current_date函数返回DATE类型，包含时分秒。但显示格式可能默认不显示时间部分。 引用[1]中在Oracle部分提到“年月日”使用to_char(sysdate,'YYYY-MM-DD')，这暗示了sysdate（以及current_date）是包含时间的，所以需要使用to_char来提取日期部分。 因此，在回答中，我们需要明确指出current_date返回的是包含时分秒的DATE类型，并解释如何显示完整时间。 此外，根据用户提供的引用[2]，我们注意到to_date函数在转换时如果格式字符串包含时间部分，则可以解析时间，这也印证了日期类型包含时间。 引用[3]中说明了date类型和timestamp类型的区别，其中date类型包含时分秒（但精度只到秒，没有小数秒），而timestamp可以有更高精度。 引用[4]中的months_between函数的例子也使用了包含时分秒的日期值。 因此，我们可以这样回答： 在Oracle中，current_date函数返回的是当前会话时区的当前日期和时间，数据类型为DATE。DATE类型在Oracle中总是包含时分秒（精确到秒）。但是，默认的日期显示格式可能只显示日期部分，通过修改NLS_DATE_FORMAT会话参数可以显示完整的日期和时间。 示例： 1. 默认情况下的查询： SELECT current_date FROM dual; -- 可能显示：05-OCT-23 2. 修改会话日期格式后： ALTER SESSION SET NLS_DATE_FORMAT = 'YYYY-MM-DD HH24:MI:SS'; SELECT current_date FROM dual; -- 将显示：2023-10-05 14:30:45 因此，current_date返回的是包含时分秒的完整日期时间值。 注意：与current_date类似的sysdate函数返回的是数据库服务器操作系统的日期和时间（同样包含时分秒），而current_date返回的是会话时区的日期和时间。 生成相关问题： 1. Oracle中current_date和sysdate有什么区别？ 2. 如何修改Oracle的日期显示格式以包含时间？ 3. Oracle的DATE类型和TIMESTAMP类型有什么区别？ </think> ### Oracle中`current_date`函数返回结果解析 根据引用内容，Oracle的`current_date`函数返回结果**包含时分秒**，精确到秒级（非仅日期）。以下是详细解释： 1. **返回值类型与精度** - `current_date`返回的是Oracle的`DATE`数据类型（引用[3]） - `DATE`类型在Oracle中**始终包含7个字段**：年、月、日、时、分、秒 $$ \text{DATE} = \{ \text{year}, \text{month}, \text{day}, \text{hour}, \text{minute}, \text{second} \} $$ - 对比Hive的`current_date`仅返回日期部分（YYYY-MM-DD），Oracle的返回值格式为： `YYYY-MM-DD HH24:MI:SS` 2. **与相关函数的区别** | 函数 | 返回类型 | 是否包含时分秒 | 精度 | 用例 | |------|-----------|----------------|-------|-------| | `current_date` | `DATE` | ✅ | 秒级 | 会话时区当前时间 | | `sysdate` | `DATE` | ✅ | 秒级 | 数据库服务器时间 | | `to_char(sysdate,'YYYY-MM-DD')` | 字符串 | ❌ | 日期 | 仅日期格式化 | 3. **验证方法** 通过显式格式化可验证包含时分秒（引用[1][2]）： ```sql -- 查询完整时间（含时分秒） SELECT TO_CHAR(current_date, 'YYYY-MM-DD HH24:MI:SS') FROM dual; -- 结果示例：2023-10-05 14:30:45 -- 对比：仅提取日期部分 SELECT TO_CHAR(current_date, 'YYYY-MM-DD') FROM dual; -- 结果示例：2023-10-05 ``` 4. **关键注意事项** - **时区依赖**：`current_date`返回**当前会话时区**的时间（而`sysdate`返回数据库服务器时区时间） - **隐式格式化风险**：直接查询可能只显示日期部分（取决于工具配置），需用`TO_CHAR`显式格式化查看完整时间 - **计算兼容性**：与`months_between`等函数计算时，时分秒会影响结果精度（引用[4]） --- ### 总结 Oracle的`current_date`返回值**包含完整的时分秒信息**（格式：`YYYY-MM-DD HH24:MI:SS`），其本质是Oracle的`DATE`类型，与仅返回日期的Hive实现有根本区别。若需仅日期部分，必须使用`TO_CHAR(current_date, 'YYYY-MM-DD')`显式格式化[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值