Spark编程注意事项

最新推荐文章于 2023-12-22 23:28:45 发布

原创最新推荐文章于 2023-12-22 23:28:45 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

6 篇文章

订阅专栏

SimpleDateFormat

我们使用spark做数据处理最频繁使用的就是simpleDateFormat来转化日期格式，在实践中发现，sdf总是莫名其妙的出现错误，例如：“java.lang.NumberFormatException: For input string: “””，而且有时候出现错误的记录个数都不一样。后来通过查阅SimpleDateFormat有这么一段内容：

Date formats are not synchronized.
 * It is recommended to create separate format instances for each thread.
 * If multiple threads access a format concurrently, it must be synchronized
 * externally.

说明simpleDateFormat不是多线程安全的。因此我们需要使用ThreadLocal来完成线程安全。