qq_42400267的博客

编写spark程序时，INFO信息导致过多 导致输出非常不好找，因此给他过滤掉方法一：在代码中加入val spark = SparkSession.builder().appName("xx").master("local").getOrCreate()val sc = spark.sparkContextsc.setLogLevel("ERROR")//log中只会出现error级别的...

idea运行代码时出现解决：在.idea文件夹里的workspace.xml中的标签下添加：<property name="dynamic.classpath" value="true" />

数据集http://grouplens.org/datasets/movielens/MovieLens 1M Dataset相关数据文件users.datUserID::Gender::Age::Occupation::Zip-codemovies.datMovieID::Title::Genresratings.datUserID::MovieID::Rating::Tim...

file->new project->maven->填写gva：配置maven版本，如果配置了镜像则读取自己的setting.xmlnext->finish!!! scala版本一定要对应改成自己安装的版本，dos模式：scala --version将自动生成的.scala文件删除：file->project structurespa...

直接删除自动生成的scala文件main里有一个test里有两个删了然后新建即可

问题描述导入spark程序时，spark显示不能识别此符号解决：去官网对应spark版本的压缩包，链接解压，既有jars目录

解决idea中创建scala项目中插件无法加载的问题解决方案先创建在用idea时由于自己使用的是老师给的pom，出现了始终飘红，无法下载解决方案在依赖下载中加上<!-- https://mvnrepository.com/artifact/org.scala-tools/maven-scala-plugin --> <dependency> ...