scala
rookie_bigdata
菜鸟一枚
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark sql 开窗函数加条件
需求:如下图 test.csv,dataframe 中每行都需要添加前边跟后边最近的的 SSSSSSS* 记录对应的值。 解决方案: 无法通过 lead, lag 等方法实现,因为开窗函数选定的数据框无法加上条件 思路 - 通过两次 Join 分别找到前后最近的 SSSSSS*记录,代码如下 var df = spark.read.option("header", "true").csv("C:\\Users\\XXX\\Desktop\\test.csv") // 读取文件 df = df.原创 2021-03-10 15:37:27 · 1359 阅读 · 0 评论 -
idea 运行 scala 报错 object apache is not a member of package org
现象: idea 运行scala项目报错object apache is not a member of package org 解决:原创 2020-07-28 17:10:47 · 5740 阅读 · 2 评论 -
idea scala 项目编译报错:Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile
现象: idea scala 项目编译报错:Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile 原因: 项目里有某些类代码有问题导致通过不了编译。但 idea 不提示哪里有问题。 解决: 在项目根目录执行mvn clean scala:compile package 后 idea 就会报哪个类哪行代码有问题,修复后再次编译就可以了。 ...原创 2020-06-11 09:14:27 · 1596 阅读 · 0 评论
分享