
scala
文章平均质量分 51
函数式编程,spark的开发语言之一,火爆一时
80后大叔爱学习
2023年10月开始更新博客内容均为逆向相关的,其它内容暂时不会更新,没有太晚的开始,不如就从今天行动。
展开
-
IDEA:Cannot determine Java VM executable in selected JDK
IDEA:Cannot determine Java VM executable in selected JDK原创 2018-04-29 10:29:18 · 1014 阅读 · 0 评论 -
SCALA程序设计 第四章:数据结构
1、集合的特质: 1)不可变集合:scala.collection.immutable 2)可变集合:scala.collection.mutable 3)Seq是一个有先后次序的值得序列。IndexedSeq能够通过整型下标快速访问元素。 4)Set是一个没有先后次序的值集合。在SortedSort中,元素以某种排过序的顺序被访问。 5)Map是一组键值对......原创 2019-04-30 15:29:26 · 409 阅读 · 0 评论 -
SCALA程序设计 第三章:控制结构和函数
1、在Scala中,几乎所有的语法结构都有值。 注意:Scala行尾不需要分号,如果单行中写多个语句,则需要分号分割,()一行表达式,{}多行表达式 Scala并没有提供break和continue语句,如果需要break可以用: 1)使用Boolean类型的控制变量 2)使用嵌套函数,从函数中retu......原创 2019-04-25 11:36:09 · 329 阅读 · 0 评论 -
SCALA程序设计 第二章:Scala基础
1、Scala声明变量方式,val常量,var变量 提示:var和val关键字只标识引用本身是否可以指向另一个不同的对象,它们并未表明其所引用的对象是否可变。为了减少可变性引起的bug,应该尽可能地使用不可变变量。变量类型可以省略,解析器会根据值进行推断。val和var声明变量时都必须初始化。2、Scala有8种数据类型:Byte、Char、Short、Int、Long、Float、D......原创 2019-04-25 10:50:07 · 416 阅读 · 0 评论 -
SCALA程序设计 第一章:scala简介
1、Scala是一门静态类型语音,是一门以Java虚拟机为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言。2、Scala完全支持面向对象编程(OOP),trait能通过使用混合结构简洁地实现新的类型,在Scala中,一切都是对象,即使是数值类型。3、Scala完全支持函数式编程(FP),函数式编程已经被视为解决并发、大数据以及代码正确性问题最佳工具。4、提升系统的扩展......原创 2019-04-25 10:25:26 · 493 阅读 · 0 评论 -
阿里云镜像地址,在maven的setting和pom.xml里添加方法
在maven里面添加<mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/&...原创 2018-11-24 10:22:30 · 11406 阅读 · 2 评论 -
Spark Streaming实时流处理项目实战--个人学习笔记--未完待续
Spark Streaming实时流处理项目实战第一章:介绍课程前提第二章: 1、实时流处理的背景 1)实时性高 2)数据量大 2、离线和实时计算对比 1)数据来源 离线:HDFS 历史数据 数据量比较大 实时:消息队列(kafka) 实时新增/修改的某一笔数据 2)......原创 2018-10-24 23:15:10 · 667 阅读 · 0 评论 -
MAVEN IP地址数据库从github上面下载打包最后到导入到maven中
1、下载地址:https://github.com/wzhe06/ipdatabase2、文件存放路径:C:\Users\TIAN\Downloads\ipdatabase-master\ipdatabase-master> 输入:cmd C:\Users\TIAN\Downloads\ipdatabase-master\ipdatabase-master&g...原创 2018-10-20 09:28:54 · 741 阅读 · 0 评论 -
SPARK JDBC链接其它数据库,错误:java.sql.SQLException: No suitable driver
添加:option("driver","com.mysql.jdbc.Driver")原创 2018-10-12 10:23:06 · 2813 阅读 · 2 评论 -
Scala 学习 进击大数据Spark生态圈----个人笔记
学习Scala 进击大数据Spark生态圈总结:第一章: 简单讲解了一下Scala的优劣势第二章: val:常量(值) 会自动生成get方法 var: 变量 自动生成get/set方法 lazy属性是遇到Action操作才会执行 优点:大数据需要提前加载的时候不会占用整个系统很多资源 缺点:不判断程序或加载数据的对错,只有......原创 2020-04-20 09:21:59 · 614 阅读 · 0 评论 -
IDEA 导入import implicits._ 隐士转换后自动消失或导入其它包
隐士转换后自动消失或导入其它包原创 2018-08-24 16:45:09 · 2793 阅读 · 0 评论 -
IDEA SparkSession默认导入org.apache.hadoop.hive.ql.exec.spark.session.SparkSession包(我是默认导入这个包)或其它包
1、出现的错误问题,见图2、解决方法:原创 2018-08-24 16:43:10 · 4202 阅读 · 0 评论 -
快学Scala第三章学习笔记
1、固定长度数组Array,长度变化数组ArrayBuffer,在数组缓冲中尾端添加或移除元素是一个高效的操作。也可以在任意位置插入或移除元素,这样操作不高效--所有在哪个位置的元素都必须被平移。2、for(...) yield 循环创建了一个类型与原始集合的相同的新集合。如果你从数组出发,那么你得到的是另一个数组,如果你从数组缓冲,那么你在for(...) yield之后得到的也是一个数组缓冲。......原创 2018-05-16 10:43:08 · 262 阅读 · 0 评论 -
快学Scala第二章学习笔记
1、如果在REPL中粘贴成块的代码,可以键入:paste,把代码粘贴进去,CTRL+D结束2、在Scala中,{}块包含一系列的表达式,其结果也是一个表达式。快中最后一个表达式的值就是块的值。这种特性对于那种某个val初始化需要分多步完成的情况很有用。例如:val distance={val dx = x-x0; val dy=y-y0; sqrt(dx*dx + dy*dy)}3、x=y=1 /......原创 2018-05-16 10:27:00 · 345 阅读 · 0 评论 -
快学Scala 第一章习题
1、在Scala REPL中键入3,然后按Tab键。有哪些方法可以被应用?2、在Scala REPL中,计算3的平方根,然后再对该值求平房。现在,这个结果与3相差多少?(提示:res变量是你的朋友。)...原创 2018-05-15 07:25:17 · 293 阅读 · 0 评论 -
快学Scala第一章学习笔记
1、按TAB键可以补全代码2、val 声明常量,var声明变量val aaa=5 结果aaa=5var aaa=5 结果aaa=53、一次声明多个变量val aaa,bbb=100结果:aaa=100,bbb=1004、变量或函数的类型总是写在变量或函数名称的后面var aaa: String = "hello"5、新增加的RichInt、RichDecimal、StringOps类6......原创 2018-05-15 07:05:01 · 238 阅读 · 0 评论 -
SCALA程序设计 第五章:模式匹配
1、Switch例子: val v1=1 v1 match { case 1=> "1" case 2=> "2" case _=> "123" } case_与default等效,如果没有模式匹配,抛出MatchError,case中不用break。match可以使用任何类型,不仅仅是数字。2、守卫:像if......原创 2019-04-30 17:30:51 · 252 阅读 · 0 评论