
scala
breeze_lsw
打杂工程师
展开
-
scala学习笔记5 (隐式转化/参数/类)
隐式转化: yingshi转载 2014-09-07 21:03:41 · 666 阅读 · 0 评论 -
scala 并行集合在spark中的应用
一.scala并行集合现在有一个集合,对它的每个元素进行处理,比如: val arr = List[String]("a","b","c") arr.foreach(println(_)) //输出结果: a b c//并行集合 arr.par.foreach(println(_)) //输出结果: a c b观察线程 println((0 to 1000).map{r原创 2015-11-12 00:40:21 · 5485 阅读 · 0 评论 -
scalaTest的使用
配置修改pom.xml,添加以下内容<!--依赖--> <dependency> <groupId>org.scalatest</groupId> <artifactId>scalatest_2.11</artifactId> <version>3.0.0</version> <scope>test</scope> </dependency><!--插件--> <plugin>原创 2016-08-30 12:59:31 · 6946 阅读 · 0 评论 -
将多个jsonArray合并(scala)
因为业务需求,有个操作要将多个jsonArray合并,使用scala分分钟实现,不到10行,异常简洁(其实已经不会用java了ORZ)。代码object test extends App{//初始化jsonArray val obj1 = new JSONObject() obj1.put("name","breeze") obj1.put("age",22) val obj2 = new原创 2016-01-13 22:46:48 · 12999 阅读 · 0 评论 -
scala使用redis client - Jedis
scala也有很多redis的client,不过在使用Redis集群模式的时候总是报错,只好用回java版本的client了。报错如下java.lang.Exception: MOVED 1133 192.168.6.53:6379 代码package cn.www.daoimport java.utilimport org.apache.spark.Loggingimport cn.www.dao原创 2015-11-02 21:04:50 · 11326 阅读 · 0 评论 -
scala中使用smart-json将json与map相互转换
json解析工具使用的smart-json,曾经对比过java的Fastjson,gson。scala的json4s,lift-json。 其中smart-json解析速度是最快的。编写环境 scala 2.10.4 smart-json 1.3.1直接上代码:import java.utilimport net.minidev.json.{JSONObject} import net.min原创 2015-10-22 22:50:43 · 11086 阅读 · 7 评论 -
scala2.10.x case classes cannot have more than 22 parameters
问题这个错误一般出现在case class参数超出22的时候。case classes cannot have more than 22 parameters 在scala 2.11.x版本以下时case class 的参数最多为22个,如果超过这个参数又不能升级时(比如目前spark依赖于2.10.x)要怎么办?解决方案这里举个26个参数的例子,依此类推class ABC (原创 2015-08-12 22:40:58 · 3058 阅读 · 1 评论 -
Scala actor的使用
Actor 为什么需要Actor? Actor的本质即万物皆Actor, Actor之间只有发送消息这一种通信方式。例如,无论是管理员让工作者干活,还是工作者把成果交还给管理员,它们之间也要通过发送消息的方式来传递信息。这么做看似不如直接方法调用来的直接,但是由于大量的消息可以同时执行。同样,消息让Actor之间解耦,消息发出之后执行成功还是失败,需要耗费多少时间,只要没有消息传递回来,这一切原创 2014-11-26 14:06:34 · 4944 阅读 · 0 评论 -
scala模式匹配的使用
Scala模式匹配 Tip1:模式总是从上往下匹配,如果匹配不到则匹配case_项(类似Java中的default) Tip2:与Java和C语言不同,不需要在每个分支末尾使用break语句退出(不会掉入下一分支) 1 值匹配 与Java中的值匹配类似 2 守卫 10.3 类型匹配 结果:原创 2014-11-23 23:25:01 · 1485 阅读 · 0 评论 -
scala for spark
写了点scala的内容,方便看spark源码,估计一两天就能看完,内容比较粗浅。原创 2014-09-28 08:28:47 · 1823 阅读 · 0 评论 -
scala学习笔记1(表达式)
object test { def main(args: Array[String]) { // println(hello("scala")) // hellow // println(add(1 , 2)) // println(sum(2 , 3)) // println(sum2(3)(4)) //转载 2014-08-29 10:39:01 · 1135 阅读 · 0 评论 -
scala学习笔记2(类,继承,抽象类)
class OOPinScala { } class Person{ var name : String = _ val age : Int = 27 private[this] val gender = "male" } class Person1 (val name : String,val age : Int) { println("this is转载 2014-08-30 16:56:52 · 1097 阅读 · 0 评论 -
scala学习笔记3(trait)
class UseTrait { } trait Logger{ def log(msg : String){ println("log: " + msg) } } class ConcreteLogger extends Logger{ def concreteLog{ log("It's me!") } } trait traitLogger{ de转载 2014-08-31 16:33:00 · 724 阅读 · 0 评论 -
scala学习笔记4(apply方法)
class ApplyTest{ def apply() = "This apply is in class" def test{ println("test") } } object ApplyTest{ def apply() = new ApplyTest def static{ println("I am a static method") }转载 2014-09-02 18:41:54 · 1918 阅读 · 2 评论 -
ScheduledThreadPoolExecutor 定时调度
定时器中 Timer 有单线程等缺陷,quartz依赖太重, 用 ScheduledThreadPoolExecutor 又想实现定时调度,实现一个工具类计算初次调度时间即可。 import java.util.concurrent._ val task = new Runnable { override def run(): Unit = try { doSometh原创 2018-01-18 23:09:42 · 857 阅读 · 0 评论