Spark和数据库时间戳相差14小时

最新推荐文章于 2024-06-02 21:59:34 发布
原创 最新推荐文章于 2024-06-02 21:59:34 发布 · 2.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在PySpark处理ETL过程中遇到Spark与MySQL时间戳相差14小时的问题，原因是Spark默认时区为GMT，而MySQL默认为CST。尽管设置时区可使时间格式相同，但在转换为时间戳时仍存在差异。尝试多种Spark设置未果，可能由于CST在不同环境中有不同解释。目前解决方案是调整MySQL时区，但这在生产环境中可能不可行。另外，发现Spark 2.4版本不支持偏移量时区设置，3.0版本才开始支持，且对'上海'这样的时区设置无效。

最近在用PySpark做ETL，然后发现了Spark存在的时区问题。

Mysql的时区默认是CST格式， 但是Spark默认的是GMT格式，因此直接使用Spark读取Mysql的时间时，会被转为GMT格式，对于这个问题，只需要设置spark.sql.session.timeZone为CST就可以解决了，但由此由引发了一个新的问题。

当两者都是CST的时候，将时间转为yyyy-MM-dd hh:mm:ss来看时，两者是相同的，问题在于分别使用unix_timestamp转为时间戳的时候，两个时间戳之间会相差14 * 3600 秒！并且我尝试了在Spark各种设置都没办法达到两者一致，最终确定出来，当Mysql是CST时，Spark展示出来的数据，要么时间戳跟时间格式都跟Mysql对不上，要么就是时间格式对上了，但是时间戳对不上。。。要解决这个问题，目前已知的唯一办法是将Mysql的时区设置为其它格式，但是，生产中不一定能采用此种方法。

个人猜测是因为CST本身含有4个含义导致的，其中一个是美国标准时间，即UTC-06:00，一个是中国标准时间，即UTC+08:00，两者相差刚好14小时，Mysql解读为中国标准时间，而Spark解读为美国标准时间。

顺便说明一下在捣鼓这个问题时发现的其它点：

  1. Spark在2.4版本，传入时区时，只能传"UTC"，"GMT"等，不能传(+|-) hh:mm这种偏移量，偏移量我已知的是在3.0版本才能生效。3.0版本虽说可以传入"area/city"这种作为时区，但对于上海并不生效。
  2. PySpark DataFrame的DSL风格的date_format在功能上远比Mysql的要少；

顺带一下area/city的数据：

Etc/GMT+12   
Etc/GMT+11   
MIT   
Pacific/Apia   
Pacific/Midway   
Pacific/Niue   
Pacific/Pago_Pago   
Pacific/Samoa   
US/Samoa   
America/Adak   
America/Atka   
Etc/GMT+10   
HST   
Pacific/Fakaofo   
Pacific/Honolulu   
Pacific/Johnston   
Pacific/Rarotonga   
Pacific/Tahiti   
SystemV/HST10   
US/Aleutian   
US/Hawaii  
Pacific/Marquesas  
AST  
America/Anchorage  
America/Juneau  
America/Nome  
America/Yakutat  
Etc/GMT+9  
Pacific/Gambier  
SystemV/YST9  
SystemV/YST9YDT  
US/Alaska  
America/Dawson  
America/Ensenada  
America/Los_Angeles  
America/Tijuana  
America/Vancouver  
America/Whitehorse  
Canada/Pacific  
Canada/Yukon  
Etc/GMT+8  
Mexico/BajaNorte  
PST  
PST8PDT  
Pacific/Pitcairn  
SystemV/PST8  
SystemV/PST8PDT  
US/Pacific  
US/Pacific-New  
America/Boise  
America/Cambridge_Bay  
America/Chihuahua  
America/Dawson_Creek  
America/Denver  
America/Edmonton  
America/Hermosillo  
America/Inuvik  
America/Mazatlan  
America/Phoenix  
America/Shiprock  
America/Yellowknife  
Canada/Mountain  
Etc/GMT+7  
MST  
MST7MDT  
Mexico/BajaSur  
Navajo  
PNT  
SystemV/MST7  
SystemV/MST7MDT  
US/Arizona  
US/Mountain  
America/Belize  
America/Cancun  
America/Chicago  
America/Costa_Rica  
America/El_
最低0.47元/天 解锁文章
Spark面试问题总结
weixin_41367158的博客
03-07 633
在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；
Spark Sql中时间字段少8个小时问题解决
weixin_41367158的博客
02-28 578
在pyspark中加配置：.config(“spark.sql.session.timeZone”,“UTC+8”);源表：test.app_exhibition_test_timestamp1。2.UTC+8： 东八区时间。在hive中，会话时区的默认值是UTC时区。
Spark：计算时间差（天数和秒数）
qq_22613769的博客
08-03 6750
//天数时间差 table.select(datediff(table.col("Start Time"), table.col("End Time"))).show() //描述时间差 import org.apache.spark.sql.functions._ //For $notation columns // Spark 2.0 import spark.implicits._ table.withColumn("date_diff", (unix_timestamp($"Start
数据库插入时间相差14小时
隔壁村老张的博客
05-09 2796
今天修改另一个项目,发现插入时间怎么都不对,相差14个小时 1.查询数据库时间是对的. 2.查询服务器时间是对的 3.查询docker时间是对的 后来经过搜索查看,发现据说是由于“在解析成预编译语句的时候，误将CST（China Standard Time utc+8）解析成CST（Central Standard Tim UTC-6），美国中部标准时间，所以少14个小时”。 修改...
PySpark数据分析基础：pyspark.sql.SparkSession类方法详解及操作+代码展示
m0_67402236的博客
08-02 2535
SparkSQL是用于结构化数据处理的Spark模块。它提供了一种称为DataFrame的编程抽象，是由SchemaRDD发展而来。不同于SchemaRDD直接继承RDD，DataFrame自己实现了RDD的绝大多数功能。SparkSQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在SparkSQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据。PySpark数据分析基础。...
Spark的timestamp 数据时间问题
qq_41758289的博客
02-07 1577
使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。但在实际Cluster 去run job的时候，如果给一个eff_dt为的时间，但是往往会出现df_eff_dt为20240131的日期。
SQL与spark.sql时间处理格式不一致的问题
qq_37395293的博客
01-20 3244
起因 这应该是一个非常常见的bug，事情起因如下： 我们在sql中需要让某个日期往前推三天，所以在sql中我使用了如下语句 select date_sub(tdbank_imp_date, 7) as tdbank_imp_date from table 该语句在sql中运行正常，也得到了预期的结果 之后我们把代码贴到saprk.sql中运行 发现变为了空值 原因 其原是日期格式的问题，YYYYMMDD这种格式对于sql和spark.sql来说都是不规范的，但是在sql中这种不规范被漫长的版本迭代中给容错
Spark SQL
YBK233
06-02 1460
Spark SQL是一个用于处理结构化数据对组件，主要用于结构化处理和对数据执行SQL查询，类似于pandas操作，只不过数据量相对更大。批量处理与数据分析在数据挖掘过程中用于数据准备和数据探索内存需求量大的数据，用spark SQL会出现内存溢出，建议使用hive不支持数据更新不可建立索引spark SQL数据集类型：DataFrame是一个以命名列方式组织的分布式数据集，与关系数据库中的表类似。
（论文阅读）TiDB：一款基于Raft的HTAP数据库
数据源的港湾
11-17 897
关系数据库管理系统(RDBMS)因其关系模型、强大的事务保证和SQL接口而流行。它们在传统应用程序(如业务系统)中被广泛采用。但是，老的RDBMS不提供可伸缩性和高可用性。因此，在21世纪初，互联网应用程序更喜欢NoSQL系统，如谷歌Bigtable和DynamoDB。NoSQL系统放宽了一致性要求，并提供了高可伸缩性和可替代的数据模型，如键值对、图和文档。然而，许多应用程序还需要强大的事务、数据一致性和SQL接口，因此出现了NewSQL系统。
时间字符串转换专家：UNIX时间戳转换技巧详解
![时间字符串转换专家：UNIX时间戳转换技巧详解](https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/...UNIX时间戳是计算和存储时间信息的标准方式，在数据处理、日志分析、Web开发等领域
spark--时间函数秒数相减
小兔子乖乖
05-22 741
【代码】spark--时间函数秒数相减。
Spark 时间戳转为24小时标准格式
spark_Streaming的博客
08-31 2238
Hive、Spark 时间戳转换12小时制、24小时制格式
Postgresql时区设置，系统主机与数据库时间不一致，导致数据自动生成的时间错误
走在搬砖的路上！
09-29 4387
数据生成时间和服务器时间对不上，操作系统的时间与数据库的时间也不一致，究其原因是 两者时区不一致造成的！首先需要查改服务器时区和时间，然后查改数据库时区（数据库需求修改配置，否则重启后失效还原成了默认值）
postgresql时区问题，系统时间和pg时间不一致
Master_Shifu_的博客
01-07 3350
1、问题描述： 昨天开发同事遇到一个时间转换的问题提交到测试环境发现pg的时间和系统的时间不一致，相差十多个小时时区不一致，在此简单记录一下 2、查系统时间pg时间发现不一致 #date pg上查询： select now(); show time zone; US/Pacific 在设置 set time zone ‘PRC’;重新查询及时生效 3、要想永久生效到pgdata下的postgresql.conf配置里修改两项 log_timezone = ‘PRC’ timezone = ‘PRC’ 修改好
spark日期时间处理
热门推荐
盛源的博客
07-25 1万+
标准日期格式符号: yyyy-MM-dd HH:mm:ss、yyyy-M-ddTHH:mm:ss。'२०२४-१०-१९ ०५:१६:०५' 转换到 '2024-10-19 05:16:05'前端显示date、time类型的时候，有可能收时区的影响，为了避免不必要的麻烦可存成字符串；1. 函数性能，选择高性能方式或函数。从指定格式的时间转换到Unix时间。2) 这种特定时间戳格式受时区影响。这两个函数从官方文档看是相同的;第一个参数必须是标准格式的时间。第一个参数是10位的时间戳。
计算时间差
醉ぃ灬清风。
02-28 635
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); dateDifference=(df.parse(endTime.toString())).getTime()-(df.parse(startTime.toString())).getTime();                              
scala spark dataframe 时间加减
Buevara的博客
10-25 2053
无
pyspark---SparkSession读取csv时，原来的UTC时间格式自动解析不正确的问题
WGS.
04-27 580
先看一下csv文件数据（重点是原来的UTC格式的时间） 我想要的效果是pyspark读取后，仍是这个UTC格式。 看下你的读法是不是和下面一样。如果是解析的会有偏差 sc = SparkContext('local', 'ad_position') ss = SparkSession(sc).builder.appName('ad_position').getOrCreate() data = ss.read.options(header='True', inferSchema='True').csv(
Spark时区问题解析与解决方案
ByteEchoX的博客
09-13 536
希望本文能帮助你解决Spark中的时区问题，并提供了一些有用的示例代码。在数据输入方面，当从外部数据源加载数据时，数据的时间戳可能采用了不同的时区表示。由于不同地区使用不同的时区，以及夏令时的存在，时间的表示和计算变得复杂。在这个示例中，我们假设数据的时间戳采用了UTC时区表示，我们将其转换为Asia/Shanghai时区表示。除了使用java.time库，Spark还提供了一些内置函数和选项，用于处理时区问题。，该函数接受时间戳、源时区和目标时区作为输入，并返回转换后的时间戳。方法显示转换后的结果。
数据库时间戳
最新发布
08-14
### 时间戳数据类型的使用方法 #### 定义与特性 时间戳（timestamp）是一种自动生成的唯一二进制数字的数据类型，通常用于给表行加版本戳的机制。其存储大小为8个字节，仅作为递增的数字使用，不保留具体的日期或时间信息。若需要记录日期或时间，应使用`datetime`数据类型[^1]。 #### 获取当前时间戳 在数据库中，可以使用`now()`函数来获取当前的时间戳。此函数获取的时间与数据库后台时间一致，相较于前端获取的时间更为准确[^2]。 #### 时间戳与日期时间的区别 - **DATE** 和 **DATETIME** 类型：这些类型可以存储具体的日期和时间信息，如年、月、日、时、分、秒。它们适用于表示具体的时间点。 - **TIME** 类型：用于存储时间值，而不包含日期部分。 - **YEAR** 类型：用于存储年份信息，相比DATE类型占用更少的空间。 #### 时间戳的应用场景 时间戳主要用于需要追踪数据变更的场景，例如： - 记录数据行的创建时间和最后修改时间。 - 在分布式系统中确保数据的一致性和同步。 - 作为版本控制的一种手段，防止并发更新冲突。 #### 时间戳的转换 在某些情况下，可能需要将时间戳转换为可读性更好的字符串格式。例如，在Oracle数据库中，可以通过以下SQL语句将时间戳转换为字符串： ```sql -- 时间戳转字符串 select cast(to_timestamp(to_char(sysdate,'yyyy-mm-dd hh24:mi:ss')||'.123456789','yyyy-mm-dd hh24:mi:ss.ff') as varchar2(100)) from dual ``` 这段代码首先使用`to_char`函数将当前系统日期和时间转换为字符串格式，然后通过`to_timestamp`函数将其转换为时间戳，并最终转换为VARCHAR2类型的字符串[^4]。 #### 时间戳的零值 时间戳的零值表示为`00000000000000`，并且与时区相关。这意味着在不同的时区下，时间戳的表示可能会有所不同。 #### 日期类型的局限性 虽然`DATE`类型非常常用，但它在表示两个事件之间的时间间隔时，其度量粒度只能达到秒级别。而`timestamp`类型则可以提供更高的精度，适用于需要更细粒度的时间间隔度量的场景[^3]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值