zhouzhihubeyond-优快云博客

原创 Intellij IDEA 14.1.4 Scala开发环境搭建

主要内容Intellij IDEA开发环境简介Intellij IDEA Scala开发环境搭建Intellij IDEA Spark开发环境搭建Intellij IDEA常见问题及解决方案Intellij IDEA常用快捷键1. Intellij IDEA开发环境简介具体介绍请参见：http://baike.baidu.com/link?url=SBY93H3SPkmcmIOmZ8H6

2015-10-29 23:10:25 72364 5

原创 Scala入门到精通——第一节 Scala语言初步

本节主要内容Scala简介为什么要学习ScalaScala语言初步1. Scala简介Scala(Scala Language的简称)语言是一种能够运行于JVM和.Net平台之上的通用编程语言，既可用于大规模应用程序开发，也可用于脚本编程，它由由Martin Odersk于2001开发，2004年开始程序运行在JVM与.Net平台之上，由于其简洁、优雅、类型安全的编程模式而受到

2015-08-18 09:35:19 53726

原创 Scala入门到精通——第三节 Array、List

本节主要内容数组操作实战列表List操作实战数组操作实战1 定长数组//定义一个长度为10的数值数组scala> val numberArray=new Array[Int](10)numberArray: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)//定义一个长度为10的String类型数组scala> val strArray=

2015-07-20 09:05:14 48716 1

原创 Scala入门到精通——第四节 Set、Map、Tuple、队列操作实战

本节主要内容mutable、immutable集合Set操作实战Map操作实战Tuple操作实战mutable、immutable集合以下内容来源于scala官方文档： http://www.scala-lang.org/docu/files/collections-api/collections.htmlScala collections systematically distingu

2015-07-21 13:08:27 43278 1

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第四节 Spark编程模型（一)

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容Spark重要概念弹性分布式数据集（RDD）1. Spark重要概念本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-overview.html（1）Spark运行模式目前最为常用的Spark运行模式有： - l

2015-09-20 19:43:13 38178 1

原创 Scala入门到精通——第十四节 Case Class与模式匹配（一）

本节主要内容模式匹配入门Case Class简介Case Class应用实战1. 模式匹配入门在java语言中存在着switch语句，例如：//下面的代码演示了java中switch语句的使用public class SwitchDemo { public static void main(String[] args) { for(int

2015-08-01 16:11:47 36244 1

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容操作系统环境准备Hadoop 2.4.1集群搭建Spark 1.5.0 集群部署注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经

2015-12-28 21:36:41 36164 25

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十四节 Spark Streaming 缓存、Checkpoint机制

作者：周志湖微信号：zhouzhihubeyond主要内容本节内容基于官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.htmlSpark Stream 缓存Checkpoint案例1. Spark Stream 缓存通过前面一系列的课程介绍，我们知道DStream是由一系列的RDD构成的，它同一般的

2015-11-30 23:42:36 32055

原创 Scala入门到精通—— 第二节Scala基本类型及操作、程序控制结构

本节主要内容Scala基本类型基本类型操作Scala程序控制结构Scala基本类型Scala中的基本数据类型如下图：（来源：Programming in Scala）从上表中可以看出，Scala的基本数据类型与Java中的基本数据类型是一一对应的，不同的是Scala的基本数据类型头字母必须大写，本节以Int、Long、String、Char、Double及Float类型为例介绍Sca

2015-07-19 11:18:26 30483 1

原创 Scala入门到精通——第二十八节 Scala与JAVA互操作

本节主要内容 1. JAVA中调用Scala类 2. Scala中调用JAVA类 3. Scala类型参数与JAVA泛型操作 4. Scala与Java间的异常处理

2015-08-16 19:54:24 28369

原创 Scala书籍推荐

现有的Scala书箱包括：Programming In Scala。Scala创建者Martin Ordersky等的大作，是最权威的Scala入门书箱，不过书中讲解的Scala版本有点老，这本书整体给我的感觉还可以，只是有些例子举得感觉不适合初学者。这部大作有中文版，但翻译得真实太烂，ZTMD烂。Scala In Action. 一般来讲，In Action系列的书都还可以，这本书整体也还不错

2015-08-19 12:33:07 25711 3

Apache Spark、Apache Kafka等基于Scala语言实现的框架在大数据生态圈内占有举足轻重的地位，它们一定程度上引领着大数据最前沿技术方向，另外Akka、Apache Gearpump等基于Scala语言实现的框架在大数据生态圈内也备受关注，工业实践已经证明了Scala语言的强大，这使Scala语言近一两年名声大噪，进而引起众多编程语言爱好者及各大公司的亲睐，国内外也因此掀起了一场

2016-09-08 23:41:16 25375 2

原创 Spark国内外书籍推荐

Spark的爆发式的成长，今年Spark相关书籍明显比去年那时候多得多，这里面所国内外目前所有的书籍推荐给大家。因为在网络上，不便于将书籍的电子版公开出来，需要的可以私信我或加我微信：zhouzhihubeyond国内Spark书籍：《Spark大数据处理：技术、应用与性能优化》，作者：高彦杰，出版社：机械工业出版社，出版时间：2014年11月，Spark版本：1.0；《Spark大数据处理

2015-11-16 21:15:01 22937 5

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第七节 Spark运行原理

本节主要内容Spark运行方式Spark运行原理解析本节内容及部分图片来自： http://blog.youkuaiyun.com/book_mmicky/article/details/25714419 http://blog.youkuaiyun.com/yirenboy/article/details/47441465 这两篇文件对Spark的运行架构原理进行了比较深入的讲解，写得非常好，建议大家认真看一

2015-09-22 19:54:01 22825 1

原创 Scala入门到精通——第十三节高阶函数

本节主要内容高阶函数简介Scala中的常用高阶函数SAM转换函数柯里化偏函数1. 高阶函数简介高阶函数主要有两种：一种是将一个函数当做另外一个函数的参数（即函数参数）；另外一种是返回值是函数的函数。这两种在本教程的第五节函数与闭包中已经有所涉及，这里简单地回顾一下：（1）函数参数//函数参数，即传入另一个函数的参数是函数//((Int)=>String)=>

2015-07-28 09:25:48 21617 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第三节 Spark Intellij IDEA开发环境搭建

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容Intellij IDEA 14.1.4开发环境配置Spark应用程序开发1. Intellij IDEA 14.1.4开发环境配置Intellij IDEA 功能十分强大，能够开发JAVA、Scala等相关应用程序，在依赖管理智能提示等方面做到了极致，大家可以到:http://ww

2015-09-19 21:21:32 21219 1

原创 Akka并发编程——第六节：Actor模型（五）

本将主要内容： 1. !消息发送，Fire-and-Forget消息模型 2. ？消息发送，Send-And-Receive-Future消息模型Akka提供了两种消息模型：fire-and-forget和Send-And-Receive-Future。fire-and-forget是一种单向消息发送模型，指的是异步发送消息，通过异步发送消息且消息发送后可以立即返回，Akka中使用?方法进行fi

2016-06-03 23:17:48 21122

原创 Spark修炼之道——Spark学习路线、课程大纲

课程内容Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲）Spark修炼之道（进阶篇）——Spark入门到精通（30讲）Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）Spark修炼之道（高级篇）——Spark源码解析（50讲）部分内容会在实际编写时动态调整，或补充、或删除。Spark修炼之道（基础篇）——Linux大数据开发基础（15讲

2015-08-19 19:58:37 20726 25

原创 Akka框架——第一节：并发编程简介

本节主要内容： 1. 重要概念 2. Actor模型 3. Akka架构简介多核处理器的出现使并发编程（Concurrent Programming）成为开发人员必备的一项技能，许多现代编程语言都致力于解决并发编程问题。并发编程虽然能够提高程序的性能，但传统并发编程的共享内存通信机制对开发人员的编程技能要求很高，需要开发人员通过自身的专业编程技能去避免死锁、互斥等待及竞争条件（Race Con

2016-04-01 22:58:05 20119

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十二节 Spark Streaming—— DStream Window操作

作者：周志湖微信号：zhouzhihubeyond本节主要内容Window Operation入门案例1. Window OperationSpark Streaming提供窗口操作（Window Operation），如下图所示：上图中，红色实线表示窗口当前的滑动位置，虚线表示前一次窗口位置，窗口每滑动一次，落在该窗口中的RDD被一起同时处理，生成一个窗口DStream（wind

2015-11-29 15:38:20 19632 4

转载 Scala入门到精通——第五节函数与闭包

本节主要内容（一）函数字面量（值函数）（二）匿名函数（三）函数的简化（四）函数参数（四）闭包函数字面量（值函数）函数字面量（function literal），也称值函数（function values），指的是函数可以赋值给变量。一般函数具有如下形式：而函数字面量具有如下形式：/* 函数字面量 function literal =>左侧的表示输入，右侧表示转换操作*/scala

2015-07-21 21:19:52 19093 3

原创 Spark修炼之道（高级篇）——Spark源码阅读：第十二节 Spark SQL 处理流程分析

作者：周志湖下面的代码演示了通过Case Class进行表Schema定义的例子：// sc is an existing SparkContext.val sqlContext = new org.apache.spark.sql.SQLContext(sc)// this is used to implicitly convert an RDD to a DataFrame.import

2015-12-28 23:38:51 18456 1

原创 Scala入门到精通——第二十节类型参数（二）

本节主要内容上下文界定（Context Bound）多重界定类型约束型变1. 上下文界定在第十七节中的类型参数（一）中，我们提到视图界定可以跨越类继承层次结构，其后面的原理是隐式转换。本节要介绍的上下文界定采用隐式值来实现，上下文界定的类型参数形式为T：M的形式，其中M是一个泛型，这种形式要求存在一个M[T]类型的隐式值：case class Person(val name:String)

2015-08-08 17:02:01 18335

原创 Scala入门到精通——第十二节 I/O与正则表达式

本节主要内容Scala I/O操作简介Scala 写文件Scala 读文件Scala 网络I/O正则表达式简介Scala正则表达式实战1. Scala I/O操作简介I/O操作是一门编程语言中的重要内容，在Scala中，它更多的是调用java中的I/O类或者通过对java中的I/O类进行相应的封装来实现I/O操作。在上一节内容中我们已经用到了I/O操作：trait FileLogger

2015-07-26 16:28:52 18243 5

原创 Scala入门到精通——第二十六节 Scala并发编程基础

本节主要内容Scala并发编程简介Scala Actor并发编程模型react模型Actor的几种状态Actor深入使用解析1. Scala并发编程简介2003 年，Herb Sutter 在他的文章 “The Free Lunch Is Over” 中揭露了行业中最不可告人的一个小秘密，他明确论证了处理器在速度上的发展已经走到了尽头，并且将由全新的单芯片上的并行 “内核”（虚拟 CPU

2015-08-15 14:12:15 18197

原创 Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr

2015-10-19 12:47:04 18002 1

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介Spark Streaming相关核心类入门案例1. Spark流式计算简介Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要

2015-11-21 22:34:46 17954 2

原创 Scala入门到精通——第六节：类和对象（一）

本节主要内容1 类定义、创建对象 2 主构造器 3 辅助构造器类定义、创建对象1 类的定义//采用关键字class定义class Person { //类成员必须初始化，否则会报错 //这里定义的是一个公有成员 var name:String=null}Person类在编译后会生成Person.class文件利用javap -prviate Person命令查看字节码文件

2015-07-22 21:39:09 17368 2

原创 Scala入门到精通——第二十九节 Scala数据库编程

本节主要内容Scala Maven工程的创建Scala JDBC方式访问MySQLSlick简介Slick数据库编程实战SQL与Slick相互转换本课程在多数内容是在官方教程上修改而来的，官方给的例子是H2数据库上的，经过本人改造，用在MySQL数据库上，官方教程地址：http://slick.typesafe.com/doc/2.1.0/sql-to-slick.html1. Scal

2015-08-17 14:36:06 16825

原创 Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)

1. SQLContext的创建SQLContext是Spark SQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下：//sc为SparkContextval sqlContext = new org.apache.spark.sql.SQLContext(sc)其对应的源码为：def this(sparkContext: S

2015-12-30 07:29:38 16709 3

原创 Scala入门到精通——第十六节泛型与注解

本节主要内容泛型(Generic Type）简介注解（Annotation）简介注解常用场景1. 泛型(Generic Type）简介泛型用于指定方法或类可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效地增强程序的适用性，使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景是集合及集中中的方法参数，可以说同java一样，scala中泛型无处不在，具体可以查看scala的a

2015-08-04 20:23:21 16617 1

原创 Scala入门到精通——第十节 Scala类层次结构、Traits初步

本节主要内容Scala类层次结构总览Scala中原生类型的实现方式解析Nothing、Null类型解析Traits简介Traits几种不同使用方式1 Scala类层次结构Scala中的类层次结构图如下：来源:Programming in Scala从上面的类层次结构图中可以看到，处于继承层次最顶层的是Any类，它是scala继承的根类，scala中所有的类都是它的子类 Any类中定

2015-07-25 22:39:22 16612 1

原创 Scala入门到精通——第十一节 Trait进阶

本节主要内容trait构造顺序trait与类的比较提前定义与懒加载trait扩展类self type1 trait构造顺序在前一讲当中我们提到，对于不存在具体实现及字段的trait，它最终生成的字节码文件反编译后是等同于java中的接口，而对于存在具体实现及字段的trait，其字节码文件反编译后得到的java中的抽象类，它有着scala语言自己的实现方式。因此，对于trait它也有自己的

2015-07-26 11:04:10 16188 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第九节 Spark SQL运行流程解析

1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.val sqlContext = new org.apache.spark.sql.SQLContext(sc)// this is used to implicitly convert an

2015-12-31 10:58:21 16171 2

原创 Scala入门到精通——第三十节 Scala脚本编程与结束语

本节主要内容REPL命令行高级使用使用Scala进行Linux脚本编程结束语1. REPL命令行高级使用在使用REPL命令行时，有时候我们需要粘贴的代码比较大，而普通的粘贴可能会些一些问题，比如中文粘贴会出现乱码、多行代码粘贴时会出错，此时需要用到REPL的高级功能。在日常开发过程中，我们粘贴多行代码的时候会遇到下列问题：//本意是要粘贴下面两行代码class Person(val nam

2015-08-17 16:40:43 16105 1

原创 Scala入门到精通——第二十一节类型参数（三）-协变与逆变

本节主要内容协变逆变类型通匹符1. 协变协变定义形式如：trait List[+T] {} 。当类型S是类型A的子类型时，则List[S]也可以认为是List[A}的子类型，即List[S]可以泛化为List[A]。也就是被参数化类型的泛化方向与参数类型的方向是一致的，所以称为协变（covariance）。为方便大家理解，我们先分析java语言中为什么不存在协变及下一

2015-08-09 16:14:55 15824 4

原创 Scala入门到精通——第十八节隐式转换与隐式参数（一）

本节主要内容隐式转换简介隐式转换函数隐式转换规则隐式参数1. 隐式转换简介在scala语言当中，隐式转换是一项强大的程序语言功能，它不仅能够简化程序设计，也能够使程序具有很强的灵活性。要想更进一步地掌握scala语言，了解其隐式转换的作用与原理是很有必要的，否则很难得以应手地处理日常开发中的问题。在scala语言中，隐式转换是无处不在的，只不过scala语言为我们隐藏了相应的细节，例如sc

2015-08-05 21:09:03 15796

原创 Machine Learning On Spark——第一节：基础数据结构（一)

## 本节主要内容 ## 1. 本地向量和矩阵 2. 带类标签的特征向量（Labeled point） 3. 分布式矩阵## 1. 本地向量和矩阵 ##本地向量（Local Vector）存储在单台机器上，索引采用0开始的整型表示，值采用Double类型的值表示。Spark MLlib中支持两种类型的矩阵，分别是密度向量（Dense Vector）和稀疏向量（Spasre Vector），密度向量会存

2015-09-13 21:31:02 15600 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第八节 Spark SQL与DataFrame（一)

本节主要内宾Spark SQL简介DataFrame1. Spark SQL简介Spark SQL是Spark的五大核心模块之一，用于在Spark平台之上处理结构化数据，利用Spark SQL可以构建大数据平台上的数据仓库，它具有如下特点：（1）能够无缝地将SQL语句集成到Spark应用程序当中（2）统一的数据访问方式 DataFrames and SQL provide a c

2015-09-26 16:30:23 15390 4

原创 Scala入门到精通——第十七节类型参数（一）

本节主要内容类型变量界定(Type Variable Bound)视图界定（View Bound)上界（Upper Bound）与下界（Lower Bound）1. 类型变量界定(Type Variable Bound)类型变量界定是指在泛型的基础上，对泛型的范围进行进一步的界定，从而缩下泛型的具体范围，例如：//下面的类编译通不过//因为泛型T在编译的时候不能确定其具体类型//即并不

2015-08-03 22:27:08 15219 1