bigdata

1.打开网站https://mvnrepository.com/，查找已知的依赖比如 fastjson。2.选择maven依赖的来源和版本比如，fastjson1.2.75。3.复制网页中的maven依赖，添加到idea中的xml文件中。<!-- https://mvnrepository.com/artifact/com.alibaba/fastjson --><dependency> <groupId>com.alibaba</gro

报错：error: RPC failed; curl 18 transfer closed with outstanding read data remainingfatal: The remote end hung up unexpectedlyfatal: early EOFfatal: unpack-objects failed解决方法：更改buffer大小Gitconfig --global http.postBuffer 524288000需要注意的是http.postBu.

.lastUpdated文件出现的原因jar包自身的问题（groupId发生改变或artifactId改变，所需要的版本不存在等），这是最重要的一点，很多人找了半天问题，最后才发现自己找的jar本来就不存在。 网络问题，无法下载对应的jar。 maven中setting配置的中央仓库镜像出现问题，没有生效或镜像已失效。解决办法删除.lastUpdated文件，切换网络（可选择手机热点）重新下载。 直接访问 阿里云云效 Maven进行文件搜索，根据groupId和artifactId查

参考文章：Spark 学习资源 - 知乎

sc是SparkContext// 1. 创建配置对象 val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local[*]") // 2. 创建sc对象 val sc = new SparkContext(conf) // 3. 使用sc进行编程 // 4. 关闭sc sc.stop()cfpcollect().foreach(pr

2.12是scala版本，3.0.0是spark版本 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactId> <version>3.0.0</version.

将log4j.properties文件添加到resources里面，就能更改打印日志的级别为errorlog4j.rootLogger=error, stdout,Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yyyy

Git连接GitHub仓库详解 - 段明 - 博客园

IDEA声明变量后，默认不显示推断类型：点击Settings设置自动勾选点击Settings设置自动勾选点击红框中的settings，进入设置，点击Tpye annotations下次声明变量时，推断的类型自动生成。idea中的设置方法...

1.快速生成main方法并打印用psvm命令能快速生成main方法。(也可以直接输入main+回车) 用sout命令能快速生成打印方法System.out.println。两个命令相结合的效果如下： 2.给new出来的对象快速赋值在new出来的对象后面加上.var，就能实现快速赋值3.快速for循环1.基本变量比如：int，long，byte等，在需要进行for循环遍历的变量后加上.for，就能快速实现for循环功能2.集合在需要进行forEach循环遍历的集合后加上.

如果scala环境变量没有问题，并且idea scala插件已安装那么你可以试试这个方法选择项目根目录点击右键—>Mark Directory As —>Sources Root