Laurence的技术博客

故事缘起：我们需要工程原型！大数据平台的架构体系庞大，技术堆栈非常深，从事大数据开发的同学对此应该都深有体会。而在很多细分领域（例如实时计算、作业调度）也没有像样的工程模板,这导致很多团队在启动大数据平台建设时往往感到无所侍从，也使得希望深入学习大数据技术的开发者由于缺少工程级的示例参考而感到迷茫。如果在大数据领域也有基于最佳实践提炼出来的工程原型，帮助团队快速启动开发，上手就写业务代码的话，你想了解一下吗？

这篇文章很短，但足以单独作为一篇文章存在，因为这里介绍的这个Scala编程技巧非常的实用和高效。在Scala里我们需要大量地编写一些函数字面量作为参数传递给高阶函数，而很多时候，被要求提供的函数字面量的参数是一些复合类型，比如tuple，在函数字面量的实现体中，往往第一步就是通过模式匹配从复合类型中提取出嵌套的变量进行计算，例如下面计算元组两元素平方差的例子：scala> v...

没有踩过mapValues的坑之前，我相信大多数人会认为mapValues和所有其他map类方法的逻辑是一样的：对Map里所有的value施加一个map函数，返回一个新的Map。但实际情况却并不这么简单，还是先看一段“诡异”的代码吧 (本文原文出处: 本文原文链接: http://blog.youkuaiyun.com/bluishglc/article/details/80156218 转载请注明出处。)：...

集合！集合！一个现代语言平台上的程序员每天代码里用的最多的大概就是该语言上的集合类了，Scala的集合丰富而强大，至今无出其右者，所以这次再回过头再梳理一下。集合“族谱”还是先上张图吧，这是我找到的最好的一个关于Scala集合的图了，出自：http://lkumarjain.blogspot.co.id/2015/01/scala-collection-framework.html ：一致的构建风格

目录设计一辆车第一版的实现基于继承第二版的实现基于组合引入自身类型Self Type引入蛋糕模式Cake Pattern利弊得失本文基于Gregor Heine分享的PPT《Scala Self-Types》注解式地介绍自身引用（Self Type）和蛋糕模式（Cake Pattern），原PPT解释地非常好，感兴趣的朋友可以自行下载阅读。设计一辆车一辆汽车往往会包含这样一些组件：En

长久以来，OO编程思想的一个重要信条是：多用组合，少用继承，这被广为接受和认可。Scala引入Trait(特质)之后，这一点“似乎”受到了冲击，你可以看到，在很多Scala代码里出现了通过继承多个Trait为一个Class混入（追加）新功能的案例，而其中有不少案例是过去我们在传统OO语言（例如Java）中不会或不建议的做法，因为看上去那确实是在滥用继承。举个简单的例子，日志功能是非常普遍的需求，传统

显然，我是在说Scala项目。在我们讨论这个话题时，SBT的稳定版本是0.13，我想再过几年，本文提及的问题会一一得到解决，从而让SBT成为一个真正成熟强大的构建工具。在我们目前开发的系统中，有一个基于AKKA的组件，使用Scala语言进行编程。绝大多数情况下，构建Scala项目首选的工具是SBT，作为新一代的构建工具，SBT吸收了众多前辈的优点，简单易用，能够满足基本的应用场景。但是SBT确实还不

一个很细节的问题，简单总结一下。::在Scala里有两种含义，一种是List集合的一个方法，用于把一个元素添加到集合的前面；另一种表示一个非空的List集合，往往应用于模式匹配中。第一种用法: List的一个方法，用于在头部添加新元素示例代码1 :: List(2, 3) = List(2, 3).::(1) = List(1, 2, 3)这种写法在Scala里极为常见，但是会让初学者感到困惑：既然

Akka-Streams是一个让人激动的Reactive Streams的框架，Akka-Http也是构建在其之上，除了内置背压模式的支持，使用其DSL构建一个Graph也是一个让人惊艳的过程。对于Akka-Streams的介绍会在后续的文章中逐一展开，本文只奉上一段代码，实现的是HTTP代理功能，同时可以对请求和响应做一些修饰。import akka.NotUsedimport akka.act

目录过滤相关的操作filter解释示例partition解释示例find解释示例takeWhile解释示例映射相关的操作map解释示例flatMap解释示例示例扁平化相关的操作flatten解释示例折叠相关的操作reduceLeft解释示例reduceRight解释示例foldLeft解释示例foldRight解释示例正文函数

Actor的层次结构Guardian ActorActor路径一个Actor层次机构的示例崩溃了怎办监管策略指令默认策略Actor的生命周期Actor的消亡自愈系统错误的核心超时Death Watch总结本文原文标题：《The Neophyte’s Guide to Scala Part 15: Dealing With Failure in Actor Systems

共享可变状态的问题Actor模型Actor系统定义Actor消息处理副作用非类型化异步和非阻塞创建一个Actor发送消息消息应答问询Ask机制有状态的Actor小结译者注： 本文原文标题：《The Neophyte’s Guide to Scala Part 14: The Actor Approach to Concurrency》，作者：Daniel Westheid

尽管这是一个非常基础的问题，但是如果不仔细梳理一下，还是会导致在某些场景下误读代码，原因是Scala对这个两兄弟的使用实在是太灵活了，甚至有些“随便”了，让我们分情况逐讨论一下。在调用函数时人们会笼统地说在函数调用时，小括号和花括号是通用的，但实际上，情况会复杂的如果你要调用的函数有两个或两个以上的参数，那么你只能使用“小括号”请看下面的示例：scala> var add = (x: Int,y:

Scala中下划线的应用场景一Scala中下划线的应用场景二identity方法的应用场景Scala中下划线的应用场景(一)1、作为“通配符”，类似Java中的*。如import scala.math._2、:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在

Scala之TypeTags和Manifests注：本文为译文，原文是Scala官方文档中的一篇，这里翻译出来作为本系列的一篇文章。原文链接： http://docs.scala-lang.org/overviews/reflection/typetags-manifests.html。 Scala之TypeTags和Manifests获取一个TypeTag通过typeTagclassTag或w

Scala之“逆变”合理性的思考对于逆变的概念可以参考本系列的前一篇文章： Scala之类型参数化：Type Parameterization 本文的重点是要解释“逆变”的合理性。在思考“逆变”的合理性这个问题上，我们需要清晰地认识到一个前提，即父类与子类之间的关系实质，我们说：如果类A是类B的父类，那么所有出现类A声明的地方，我们都可以使用类B的实例进行替换，或者说所有适用于类A的操作同样适用于类

Scala之类型参数化：Type ParameterizationScala之类型参数化Type Parameterization型变Variance不变 Invariant协变Covariant逆变Contravariant类型参数的边界控制下界Lower Bound上界Upper Bound视界View Bound上下文边界Context Bound型变：Variance型变试

机场等飞机，继续学习Scala~~Option是一个很有意思的类，首先，这个类并不一个真正的集合类，因为它并没有有继承Traversable或Iterable。但是，它确实具有Iterable的所有操作，这意味着你完全可以把Option当成一个集合去使用，其中原因你应该可以猜的到，这显然是隐式转换在起作用。具体来说是Option的伴生对象中定义了一个隐式转化函数option2Iterable, 你还

概述Scala的集合类可以从三个维度进行切分：可变与不可变集合（Immutable and mutable collections）静态与延迟加载集合 （Eager and delayed evaluation )串行与并行计算集合（Sequential and parallel evaluation ）关于第一个维度我想我们不需要再介绍了。关于第二维度，是这样解释的， 首先我们来解释一个概

前言首先，我们要在一开始强调一件很重要的事：Scala的模式匹配发生在但绝不仅限于发生在match case语句块中，这是Scala模式匹配之所以重要且有用的一个关键因素！我们会在文章的后半部分详细地讨论这一点。模式匹配的种类在Scala中一共有如下几种类型的模式匹配：通配符匹配（Wildcard Pattern Matching ）常量匹配 （Constant Pattern Matching

Partially Applied Function在开始之前，还是让我们说说”apply”这个术语怎么解释吧。在scala里，我们认为：把一个参数传递给函数的过程就叫apply, 在传统的编程语言里，传递参数和调用函数是一个过程，并不存在apply这一说，但是在像scala这样的函数式编程语言里，“apply”和“invoke”这两个动作是可以分离开的，所以才有了Partially Apply这样

本文原文出处: http://blog.youkuaiyun.com/bluishglc/article/details/ 严禁任何形式的转载，否则将委托优快云官方维护权益！从使用case语句构造匿名函数谈起在Scala里，我们可以使用case语句来创建一个匿名函数（函数字面量），这有别于一般的匿名函数创建方法。来看个例子：scala> List(1,2,3) map {case i:Int=>i+1}re

Case Class的特别之处在于：编译器会为Case Class自动生成以下方法： equals & hashCodetoStringcopy编译器会为Case Class自动生成伴生对象编译器会为伴生对象自动生成以下方法applyunapply 这意味着你可以不必使用new关键字来实例化一个case class.case class的类参数在不指定val/var修饰时，会自动编

主构造函数首先，我们必须要非常清晰明确的认识到：主构造函数不是你看到class后面跟的参数列表，那怎么可能是主构造函数呢？那只是主构造函数的函数列表！那主构造函数的函数体在那里呢？答案是：class body里所有出去字段和方法声明的语句，剩下的一切都是主构造函数的，它们在class实例化时一定会被执行的。所以说，Scala的主构造函数包含这些部分：The constructor paramete

缘起设计模式是建立在编程语言层面之上的，从某种角度上看，模式是以应用场景为导向，在编程语言的基础设施之上构建的最佳设计的范本，其价值在于可以作为模版应用于同类场景中。而反过来，语言基础设施的改变必然会影响到上层的设计模式，设计模式和编程语言相互影响，新的编程范式会催生新的设计模式，而成熟的设计模式会引导在语言在基础层面上进行进化从而直接支持！这类的案例是非常多的，比如：Java语言原生支持原型模式、

概述简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。隐式转换有四种常见的使用场景：将某一类型转换成预期类型类型增强与扩展模拟新的语法类型类语法隐式转换有新旧两种定义方法，旧的定义方法指是的“implict def”形式，这是Scala 2.10版本之前的写法，在Scala 2.10版本之

定义关于闭包有太多种解释，但基本上都很难用一两句解释清楚，下面这句简短的定义是我见过的最精炼且准确的解释了：A closure is a function that carries an implicit binding to all the variables referenced within it. In other words, the function (or method) enclos

版权声明：本文由本人撰写并发表于2015年3月下半月的《程序员》杂志，原文题目《从字面量发现函数式编程》，本文版权归《程序员》杂志所有，未经许可不得转载。引言我相信很多像我一样初次接触函数式编程的程序员来说，对于“函数字面量”这个概念会感到迷惑和不解。伴随着深入地学习，在清晰地理解了这个概念之后，我进行了一些梳理和回溯，作为函数式编程思想延伸到最基层的语言元素，我深刻地觉得“函数字面量”这

SCALA学习笔记（二）SCALA学习笔记二泛型在继承中的类型变化InvariantCovarianceContravarianceCovarianceContravarianceCall-ByNameCurrying柯里化初探lambda和closure的区别集合二维运算foldLeft foldRightFunction ObjectPartial Fu

变量获取变量的值是一个耗时的工作时，可以考虑使用lazy var. lazy val forLater = someTimeConsumingOperation()scala> val first :: rest = List(1, 2, 3) first: Int = 1 rest: List[Int] = List(2, 3)函数定义“=”并不只是