chengkezong2591-优快云博客

转载 scala入门 for循环

object TestFor { def main(args: Array[String]): Unit = { var sum=0 for (i <- 1 to (10, 2)) { println(i) sum=sum+i ...

2016-10-03 16:09:00 190

转载 scala入门（4）对象比较

直接上代码，大家就能明白scala怎么比较两个对象 //对象比较 //scala是基于内容比较,需要比较引用需要使用eq方法 //java是基于引用比较 object TestEq { def main(args: Array[String]): Unit = { val a: ...

2016-10-03 16:04:00 359

转载 kafka+sparkstreaming wordcount

Apache Spark技术实战之1 — KafkaWordCount Spark PPV课 12个月前 (10-09) 171℃ 概要 Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。Spar...

2016-10-02 11:54:00 167

转载 scala入门（3）运算符的优先级

和其他开发语言一样。scala也有自己的运算符优先级 1. *(乘)，/(除)，取模% 2. 加（+），减（-） 3. ::(list构造)，:::(list拼接)注意它们是右操作就是从右往左执行 4.<= ,>=,==,=,!,!= 5.< ,>,<...

2016-10-01 18:26:00 445

转载 scala入门程序（2）变量

scala目前有三种变量 1. var 变量用var可以修饰改变的变量 2 . val 常量用val修饰的值不可改变 3. lazy变量 lazy只能修饰val常量。不能修饰var变量 ...

2016-10-01 18:19:00 114

转载 scala入门程序（1）helloworld

本人用的开发工具是eclipse scala版本是2.11 首先导入需要的scala包 org.scala-lang.scala-library org.scala-lang.scala-reflect 然后建project 然后建package和objetct 下面是...

2016-10-01 18:14:00 157

转载基于eclipse开发spark2.0的dataFrame

前些天准备研究下spark2.0的spark-sql. 我主要的工具是eclipse 版本是hadoop2.7+spark2.0 废话少说，直接上代码wordcount import org.apache.spark.sql.SparkSession import org.apache...

2016-09-07 17:27:00 176

转载 kafka 0.8安装教程

1，安装zookeeper 可以参考http://blog.youkuaiyun.com/gudaoqianfu/article/details/7327191 2. 安装kafka 先解压kafka, 然后修改kafka/config/serverities 主要修改的参数是brok...

2016-08-13 20:27:00 273

转载用Eclipse开发Spark2.0 SparkStreaming程序

前面我们介绍了spark2.0的安装以及spark-shell的运行方式。下面我们介绍另外一种开发方式。也是大家最熟悉的eclipse 1.首先我用的是scala版本的ide. 这个可以去官网下载。先介绍下我的版本：hadoop2.7.2+spark2.0+scala2.11+jav...

2016-07-30 21:27:00 327

转载 spark-shell的学习

前面我介绍了spark集群环境的安装与测试。今天我就给大家介绍一下spark-shell的的应用 spark-shell是spark的一种运行脚本。它已经初始化了sparkContext(sc)和SparkSesssion(Spark) 大家可以到spark的安装路径下 bin/spar...

2016-07-28 18:06:00 139

转载 spark2.0集群环境安装

spark2.0已经在apache的官网进行公布。大家可以去下载。今天我就带大家进行安装spark2.0 .spark2.0要求是hadoop2.7.2 +scala2.11+java7 版本不够的请先升级 1.安装hadoop2.7.2 下载地址是：http://hadoop.a...

2016-07-28 17:14:00 126

转载 Storm【开发实战】- 流方式的统计系统

http://my.oschina.net/infiniteSpace/blog/284806 转载于:https://my.oschina.net/u/2507413/blog/5260...

2015-11-05 00:11:00 123

转载 Flume-ng+Kafka+storm的学习笔记

http://blog.youkuaiyun.com/zxcvg/article/details/18600335 转载于:https://my.oschina.net/u/2507413/blog/...

2015-11-05 00:09:00 124

转载 spark学习帖子

http://blog.youkuaiyun.com/hguisu/article/details/8454368 转载于:https://my.oschina.net/u/2507413/blog/...

2015-11-05 00:06:00 92

转载序列化和反序列化

序列化是将对象转换为字节流，本质上可以理解为将链表的非连续空间的数据存储转化为连续空间存储的数组中。这样就可以将数组进行流式传输或者存储。相反，反序列化就是将字节流转换为对象。序列化的主要目的： 1.进程间的通信：不同节点之间进行数据传输 2.数据持久化存储到磁...

2015-11-04 16:05:00 132