
Scala
子安
这个作者很懒,什么都没留下…
展开
-
The POM for commons-codec:commons-codec:jar:1.15-SNAPSHOT is missing
The POM for commons-codec:commons-codec:jar:1.15-SNAPSHOT is missing, no dependency information available原创 2022-05-09 15:35:37 · 3136 阅读 · 7 评论 -
scala =>符号含义总结
It has several meanings in Scala, all related to its mathematical meaning as implication.In a value, it introduces afunction literal(通译为匿名函数,有时候也叫函数显式声明,函数字面量), or lambda(参考lambda表达式的文章,其实也是匿名原创 2016-09-01 11:48:16 · 12377 阅读 · 0 评论 -
[Scala] 用 Option[T] 来避免 NullPointerException(整理)
转自:https://my.oschina.net/u/200745/blog/69845前言Java 里的 Null Pointer Exception写过一阵子的Java后, 应该会对NullPointerException (NPE)这种东西很熟悉,基本上会碰到这种异常,就是你有一个变量是 null,但你却调用了它的方法,或是取某个的值。举例而言,下面的 Java 代码就会抛转载 2016-11-11 11:20:18 · 583 阅读 · 0 评论 -
使用Spark MLlib随机森林RandomForest+pipeline进行预测
这个程序中,我们使用pipeline来完成整个预测流程,加入了10-fold cross validation。import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.mllib.linalg.Vectorsimport org.apache.spark.mllib.regression.LabeledPo原创 2017-05-18 15:40:54 · 4586 阅读 · 1 评论 -
hadoop Checksum校验的一个小问题
今天使用下面的命令读取文件的时候val train_male = sc.textFile("file:\\E:\\m\\part-00000")读取数据的时候,报了下面的错误 org.apache.hadoop.fs.ChecksumException: Checksum error后来查资料发现,这个和Checksum校验有问题,查看目录,发现保存的数据里面果然有.part-00000.cr原创 2017-06-07 10:24:56 · 4120 阅读 · 1 评论 -
快速上手写spark代码系列03:开始写一个spark小脚本(1)
快速上手写spark代码系列:03-开始写一个spark小脚本(1)快速上手写spark代码系列03-开始写一个spark小脚本1训练背景设置第一步准备数据集第二步读取文件第三步做字段提取生成RDD第四步合并RDD第五步过滤某些字段第六步关联用户第七步关联位置参数第八步选取字段生成新的结果第九步存储成指定文件数目训练背景设置上一篇将了RDD操作的各种函数,这一节就把这些函数放在一原创 2017-06-30 16:55:51 · 2405 阅读 · 1 评论 -
Scala版本冲突--java.lang.NoSuchMethodError:scala.collection.immutable.HashSet$.empty()Lscala/collection/
问题描述Run 代码的时候报错Exception in thread "main" java.lang.NoSuchMethodError:scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;解决办法 将Scala2.11.x更换为Scala2.10.x操作如下: File –> Ot原创 2017-07-26 11:42:37 · 11980 阅读 · 3 评论