qigemantou的博客

1. 隐式转换1)当scala程序在进行赋值或者运算的时候，精度小的类型。当自动转换为精度大的类型，这个就是自动类型转换(隐式转换)//char -> Intvar a: Int = 'a'//int -> doublevar d: Double=1002)细节注意：-1-当有很多种类型混合运算时，系统先将所有的类型，转换成精度最大的那种数据类型，然后再进行...

今天来更新一个错误，下面是我的解决办法，将所有的mysql驱动包，放到集群每个节点下面，将程序的连接jdbc的地址从localhost改为安装了mysql的节点的地址，所有的SparkConf属性只设置setAppName，剩下的命令提交，然后清除项目缓存，多清几次，然后打包，集群运行！！！！希望我的错误对你有所帮助...

今天来更新一个错误，是spark集群运行时候报的错误，图如下：网上搜了好多方法不管用，在这里我更新下我的做法，开启hive，将与其同名的表删掉。开心不，就这么简单，我觉得可能是涉及到了权限的问题，或者编码格式的问题。望采纳！！!...

Spark概述什么是SparkSpark是一种快速、通用、可扩展的大数据分析引。基于内存计算。到目前为止，已经发展成为一个完善的生态系统，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等组件。为什么要学习SparkSpark类似于MapReduce，基于MapReduce实现分布式计算，拥有MapReduce拥有的所有优点，并且Spark中的Jo...

1. 方法不能作为单独的表达式而存在，但是函数可以2. 函数必须有参数列表，就算是空的也需要写上，方法可以没有val sayName=()=>{ println("asdfasdf")}def eat:Unit={ println("cjeojaff")}3. 方法不是值，函数是值，不能把方法赋值给变量val//2.方法的定义（如果强行复制一个变量，...

Scala高级特性1. 高阶函数--1--概念Scala混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，把函数作为参数或者是返回值是函数叫高阶函数。高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。--2-- 作为值的函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作...

1. 模式匹配和样例类Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配。--1--匹配字符串import scala.util.Randomobject CaseDemo01 extends App{ val arr = Array("hadoop", "zooke...

1.为什么要学习scala？spark底层时用scala实现的，想要学号spark，必须学会scala这门语言语言有自己的特点，无论是在编程效率还是执行速度都要优于java2.scala语言的介绍scala时一门多范式的编程语言，及时面向对象也是函数式编程函数式编程：所有的变量全部为一个对象，把函数当成编程什么是多范式？多范式：多种形式的编程，常见的有过程是式，函数式...

类、方法、对象、继承、特质1. 类类的定义/*** 在Scala中，类并不用声明为public类型的。* Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person { //用val修饰的变量是可读属性，有getter但没有setter（相当与Java中用final修饰的变量） val id="9527" //用var修饰的变量...

1.元组1)概念 元祖是scala中一个非常有用的容器对象,用于存放不同类型的数据元素,当然他是不可变的 关键字:不同类型 长度不可变2)元组的创建demo:val tuple=(1,"abc",false)val tuple1 = new Tuple2(1,2)3)元组的操作 元组是通过下划线+下标索...

第一个原因：没有nc -l 9000的情况下直接执行了这句话./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000第二个原因：端口号最好换一个，如果配置了连接hdfs的话第三个原因：其实因为你配置了hdfs环境的原因，仔细想想，你是不是修改了vim conf/flink-c...