timothyzh的专栏

有时，我们需要在scala交互模式（REPL: read–eval–print loop）下试验第三方的jar包。而直接用scala命令进入的REPL只能使用默认的scala和java标准库。这时可以用sbt console的方式进入REPL模式。而关键点在于，你需要在运行sbt console的目录下定义build.sbt文件---就和工程项目中的build.sbt文件一样的。例如，定义bu...

Table of Contents操作日期的函数日期和时标的格式函数提取时间元素的函数Unix时间和时区的函数时间的窗函数因为Spark主要是对DataFrame的处理，所以有一个包org.apache.spark.sql.functions._包含了所有对DataFrame中的列操作，链接是：https://spark.apache.org/docs/2.4.3/api/...

Table of Contents仅包含一个单词的ID包含多于两个单词的ID正好包含两个单词的ID一切缘起于学习Spark的日期时间函数。其中的to_utc_timestamp和from_utc_timestamp函数会涉及到TimeZone的参数。在Spark的源码中追溯，会发现TimeZone的参数会传到源文件：spark/sql/catalyst/src/main/scala...

Table of Contents两个DataFrame的纯比较考虑加入和更新时间的DataFrame比较DataFrame的字段有null值的情况我们将DataFrame看作是由一行行（Row）的记录组成的。有时我们会比较两个有相同Schema的DataFrame，而获取一个DataFrame相对于另一DataFrame需要增/删/改的记录。也就是说，原始有一个老DataFram...