Spark编程注意事项

最新推荐文章于 2023-12-22 23:28:45 发布

奔奔强

最新推荐文章于 2023-12-22 23:28:45 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/wzq294328238/article/details/48132749

spark 专栏收录该内容

6 篇文章

订阅专栏

SimpleDateFormat

我们使用spark做数据处理最频繁使用的就是simpleDateFormat来转化日期格式，在实践中发现，sdf总是莫名其妙的出现错误，例如：“java.lang.NumberFormatException: For input string: “””，而且有时候出现错误的记录个数都不一样。后来通过查阅SimpleDateFormat有这么一段内容：

Date formats are not synchronized.
 * It is recommended to create separate format instances for each thread.
 * If multiple threads access a format concurrently, it must be synchronized
 * externally.

说明simpleDateFormat不是多线程安全的。因此我们需要使用ThreadLocal来完成线程安全。