
scala
Jacquelin_1
这个作者很懒,什么都没留下…
展开
-
用scala一句话写wordcount
package ***object wordcount { def main(args: Array[String]): Unit = { val lines = List("atguigu han hello ", "atguigu han aaa aaa aaa ccc ddd uuu") //val res1 = lines.flatMap((s: String)...原创 2019-05-30 11:19:22 · 346 阅读 · 0 评论 -
在idea中编写好程序并打包到spark集群测试
一、scala程序idea中写的某个程序(采取传参形式,尽量不要写死):package com.atguiguimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { //1.创建配置信息 val conf=n...原创 2019-05-31 18:51:08 · 670 阅读 · 0 评论 -
【scala报错】报错Error:scalac: missing or invalid dependency detected while loading class file '**.class'
在idea里写好scala,spark-sql的脚本,运行时报这个错是说maven配依赖时下载那个Dataset.class文件时出错,spark-sql在1.6版本及之后就是Dataset,那就是关键的函数包没下载好了,好了直接说解决方法:一、删之前配好的idea滑到最下-》External Libraries-》找到maven帮你配好的文件,就是spark-sql2.11-》co...原创 2019-06-03 17:59:33 · 5734 阅读 · 1 评论