bigdata

报错：error: RPC failed; curl 18 transfer closed with outstanding read data remainingfatal: The remote end hung up unexpectedlyfatal: early EOFfatal: unpack-objects failed解决方法：更改buffer大小Gitconfig --global http.postBuffer 524288000需要注意的是http.postBu.

.lastUpdated文件出现的原因jar包自身的问题（groupId发生改变或artifactId改变，所需要的版本不存在等），这是最重要的一点，很多人找了半天问题，最后才发现自己找的jar本来就不存在。 网络问题，无法下载对应的jar。 maven中setting配置的中央仓库镜像出现问题，没有生效或镜像已失效。解决办法删除.lastUpdated文件，切换网络（可选择手机热点）重新下载。 直接访问 阿里云云效 Maven进行文件搜索，根据groupId和artifactId查

参考文章：Flink学习路线 - 知乎

参考文章：Spark 学习资源 - 知乎

sc是SparkContext// 1. 创建配置对象 val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local[*]") // 2. 创建sc对象 val sc = new SparkContext(conf) // 3. 使用sc进行编程 // 4. 关闭sc sc.stop()cfpcollect().foreach(pr

2.12是scala版本，3.0.0是spark版本 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactId> <version>3.0.0</version.

将log4j.properties文件添加到resources里面，就能更改打印日志的级别为errorlog4j.rootLogger=error, stdout,Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yyyy

Git连接GitHub仓库详解 - 段明 - 博客园

IDEA声明变量后，默认不显示推断类型：点击Settings设置自动勾选点击Settings设置自动勾选点击红框中的settings，进入设置，点击Tpye annotations下次声明变量时，推断的类型自动生成。idea中的设置方法...

在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建RDD、从其他RDD创建。

maven 项目查看jar源码

点击Download sources时会提示报错，如下所示：　　解决方案：　　在Terminal输入“mvn dependency:resolve -Dclassifier=sources”，然后再下载源码就可以了。

参考文章：1.如何在idea中查看jar包源码2.Idea打包jar 及jar包反编译为代码的多种方法_开发猫-优快云博客_怎么将jar包转换为代码3.https://blog.youkuaiyun.com/liangllhahaha/article/details/1030332664.Eclipse/Intellij IDEA查看jar包的源码和注释 - wenlj的个人空间 - OSCHINA - 中文开源技术交流社区5.IDEA—使用插件反编译jar包 - Andya_net - 博客园

Search In Repository平时我们如果要依赖一个第三方jar包，但是不知道它的maven/gradle的坐标。我们该怎么做？搓点的做法基本上就是baidu了，稍微高级点的就是到中央仓库去查下，最新版本的坐标是什么。然后复制下来，贴到pom里去。这款插件，就无需你来回跳转，直接把中央仓库的查找集成到了Idea里面。你只需要打开这款插件，输入jar包的名字或者gav关键字，就能查到到这个jar包所有的版本，然后可以直接复制gav坐标。方便又快捷，干净又卫生！参考文章：装了这几个

1.快速生成main方法并打印用psvm命令能快速生成main方法。(也可以直接输入main+回车) 用sout命令能快速生成打印方法System.out.println。两个命令相结合的效果如下： 2.给new出来的对象快速赋值在new出来的对象后面加上.var，就能实现快速赋值3.快速for循环1.基本变量比如：int，long，byte等，在需要进行for循环遍历的变量后加上.for，就能快速实现for循环功能2.集合在需要进行forEach循环遍历的集合后加上.

如果scala环境变量没有问题，并且idea scala插件已安装那么你可以试试这个方法选择项目根目录点击右键—>Mark Directory As —>Sources Root

变量名var 变量名 [: 变量类型]= 初始值 var i:Int = 10val常量名 [: 常量类型]= 初始值 val j:Int = 20注意：能用常量的地方不用变量字符串输出1）基本语法（1）字符串，通过+号连接（2）重复字符串拼接（3）printf用法：字符串，通过%传值。（4）字符串模板（插值字符串）：通过$获取变量值Java：==比较两个变量本身的值，即两个对象在内存中的首地址；equals比较字符串中所包含的内容是否相同。S...