to_Date()用法

SQL> ALTER SESSION SET NLS_DATE_FORMAT = 'YYYY-MM-DD HH24:MI:SS';

会话已更改。

SQL> SELECT TO_DATE('2006-05-01 19:25:34', 'YYYY-MM-DD HH24:MI:SS') FROM DUAL;

TO_DATE('2006-05-01
-------------------
2006-05-01 19:25:34

SQL> SELECT TO_DATE('2006-05-01 19:25', 'YYYY-MM-DD HH24:MI') FROM DUAL;

TO_DATE('2006-05-01
-------------------
2006-05-01 19:25:00

SQL> SELECT TO_DATE('2006-05-01 19', 'YYYY-MM-DD HH24') FROM DUAL;

TO_DATE('2006-05-01
-------------------
2006-05-01 19:00:00

SQL> SELECT TO_DATE('2006-05-01', 'YYYY-MM-DD') FROM DUAL;

TO_DATE('2006-05-01
-------------------
2006-5-1

SQL> SELECT TO_DATE('2006-05', 'YYYY-MM') FROM DUAL;

TO_DATE('2006-05','
-------------------
2006-5-1

SQL> SELECT TO_DATE('2006', 'YYYY') FROM DUAL;

TO_DATE('2006','YYY
-------------------
2006-1-1 

当省略HH、MI和SS对应的输入参数时,Oracle使用0作为DEFAULT值。如果输入的日期数据忽略时间部分,Oracle会将时、分、秒部分都置为0,也就是说会取整到日。

同样,忽略了DD参数,Oracle会采用1作为日的默认值,也就是说会取整到月。

但是,不要被这种“惯性”所迷惑,如果忽略MM参数,Oracle并不会取整到年,取整到当前月。

注意:1.在使用Oracle的to_date函数来做日期转换时,可能会直觉地采用“yyyy-MM-dd HH:mm:ss”的格式作为格式进行转换,但是在Oracle中会引起错误:“ORA 01810 格式代码出现两次”。如:select to_date('2005-01-01 13:14:20','yyyy-MM-dd HH24:mm:ss') from dual;
原因是SQL中不区分大小写,MM和mm被认为是相同的格式代码,所以Oracle的SQL采用了mi代替分钟。select to_date('2005-01-01 13:14:20','yyyy-MM-dd HH24:mi:ss') from dual;
                 2.另要以24小时的形式显示出来要用HH24
select to_char(sysdate,'yyyy-MM-dd HH24:mi:ss') from dual;//mi是分钟
select to_char(sysdate,'yyyy-MM-dd HH24:mm:ss') from dual;//mm会显示月份 

### Spark SQL `to_date` 函数详解 #### 什么是 `to_date` 函数? `to_date` 是 Spark SQL 中的一个日期转换函数,用于将字符串类型的日期时间数据转换为标准的日期类型(DateType)。如果输入的数据无法被解析,则返回 NULL 值。 其语法如下: ```sql to_date(expr [, fmt]) ``` - 参数 `expr` 表示要转换的表达式或列名。 - 可选参数 `fmt` 定义了日期格式模式,默认情况下会尝试自动识别常见的日期格式[^1]。 --- #### 示例代码演示 以下是基于 Spark SQL 的 `to_date` 函数使用的具体实例: 假设我们有一个包含用户活动记录的数据集,其中有一列表示事件发生的时间戳(字符串形式),我们需要将其转换成日期类型以便进一步分析。 ##### 数据准备 创建一个简单的 DataFrame 来模拟原始数据: ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("ToDateExample").getOrCreate() data = [("Alice", "2023-07-15T12:34:56"), ("Bob", "2023-08-20T18:45:30")] columns = ["name", "event_time"] df = spark.createDataFrame(data, columns) df.show() ``` 运行上述代码后得到的结果如下: ``` +-----+-------------------+ | name| event_time| +-----+-------------------+ |Alice|2023-07-15T12:34:56| | Bob|2023-08-20T18:45:30| +-----+-------------------+ ``` ##### 转换操作 使用 `to_date` 将 `event_time` 列从 ISO 时间格式转换为 Date 类型: ```sql SELECT to_date(event_time) AS date FROM df; ``` 或者在 PySpark 中执行相同逻辑: ```python from pyspark.sql.functions import col, to_date df_with_dates = df.withColumn("date", to_date(col("event_time"))) df_with_dates.show() ``` 最终输出结果将是: ``` +-----+-------------------+----------+ | name| event_time| date| +-----+-------------------+----------+ |Alice|2023-07-15T12:34:56|2023-07-15| | Bob|2023-08-20T18:45:30|2023-08-20| +-----+-------------------+----------+ ``` 当需要指定自定义格式时,可以传递第二个参数给 `to_date` 函数。例如,对于形如 `"dd/MM/yyyy"` 的日期字符串: ```sql SELECT to_date('15/07/2023', 'dd/MM/yyyy') AS custom_date; ``` --- #### 注册并调用 UDF 实现更复杂的功能 除了直接使用内置函数外,还可以通过注册用户自定义函数 (UDF),扩展功能满足特定业务需求。按照以下步骤完成此过程[^3]: 1. **定义函数** 编写一段 Python 或 Scala 代码实现所需逻辑。 2. **注册到 Spark** 使用 `spark.udf.register()` 方法将该函数注册至当前上下文中。 3. **应用已注册的函数** 在后续查询中即可像其他内置函数一样调用它。 下面是一个简单案例说明如何利用 UDF 对日期字段做额外处理: ```python from pyspark.sql.types import StringType from pyspark.sql.functions import udf def extract_year(date_str): try: return str(date_str).split('-')[0] except Exception as e: return None year_udf = udf(extract_year, StringType()) df_with_years = df_with_dates.withColumn("year", year_udf(df_with_dates["date"])) df_with_years.show() ``` --- ### 总结 以上展示了 Spark SQL 中 `to_date` 函数的基础用法及其结合 UDF 进行高级定制的能力。无论是基本的数据清洗还是复杂的特征工程任务,这些工具都能提供强有力的支持。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值