liuhehe123的博客

Flink 从0到1学习 —— Flink 中如何管理配置？

在看到 scala> val f = (_:Int) + (_:Int)f: (Int, Int) => Int = $$Lambda$1108/2058316797@4a8bf1dc scala> f(1,2)res5: Int = 3有点不太明白占位符的使用。在scala REPL测试了下：scala> val f2 = (_:Int) + (_...

在写sparkMLlib程序的时候 出现java.lang.AbstractMethodError错误，at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Logging.scala:99)。。。balabalabala这个一般是包的版本出现了问题，我当时用的包 spark-mllib 2.1....

spark-shell中并不会遭遇这么多问题 这是在IDEA中sbt依赖问题。1、导入包问题import java.util.Propertiesimport org.apache.spark.sqlimport org.apache.spark.sql.types._import org.apache.spark.sql.Rowimport org.apache.spark...

启动spark shell报错：Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/02/26 16:56:07 WARN util.NativeCodeLoader: Unable...

运行SparkStreaming的NetworkWordCount实例出错：Error connecting to localhost:9999 java.net.ConnectException: Connection refused 解决办法一、背景首先按照Spark的官方文档来运行此实例，具体方法参见这里，当运行命令$ nc -lk 9999开启端口后，再运行命令$ ./bin/ru...

Spark textFile在读取数据遭遇empty string或者ArrayIndexOutOfBoundsException: 2在使用spark textFile读取一个大数据文本 有3万多行，然而在处理过程中 即使用collect().foreach(println)进行打印输出，爆出empty string错误，经过排查，发现并不是存在空行，而是某一行数据存在空值，由于在处理过程中，将...

scala 为每一个私有变量提供了getter、setter方法，不用显性的定义：下面是几种方式：package scalaLearnclass Counter { private var mycount = 10 // 默认提供了 getter和 setter方法 private var myname = "Scala" // 实际上他自动实现了getter setter方...