- 博客(11)
- 资源 (6)
- 收藏
- 关注
RSS订阅翻译 scala 符号
1、:: 是 scala的cons操作符car :: cdt "1"::("2"::("3"::Nil)) //> res1: List[String] = List(1, 2, 3)scala中做了简化 所以 也可以写成"1"::"2"::"3"::Nil是等价的 (::其实是方法名 相当于调用方法 可以写成.::)1 :: 2
2016-09-08 09:47:00
199
原创 spark kafka hbase
接上一个示例，结果输出到hbase wordCounts.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => // ConnectionPool is a static, lazily initialized pool of connections val hbaseCon
2016-09-05 14:34:14
236
原创 基于0.9版本的kafka测试问题
主要模拟测试kafka的某一个broker挂掉的情况。public Future send(ProducerRecord record)1、定义partition,key,valuepublic ProducerRecord(String topic, Integer partition, K key, V value)这种情况下，测试结果是，如果这个partiti
2016-08-17 16:21:51
468
原创 参数为1个RDD的Cogroup
import org.apache.spark.SparkContextimport org.apache.spark.SparkConfobject Cogroup { def main(args: Array[String]): Unit = { val sc = new SparkContext("local", "Cogroup", new SparkCon
2016-08-17 15:27:50
195
原创 Scala 统计文件单词数
函数原型：def foldLeft[B](z: B)(op: (B, A) => B): B = { var result = z this.seq foreach (x => result = op(result, x)) result }实现代码：val lines = Source.fromFile("E://test.txt").
2016-08-17 15:07:48
993
原创 Range 的 reduce(_+_)函数做累加的原理以及语法推导
scala> val array = 1 to 10array: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)scala> array.reduce(_+_)res4: Int = 55reduce源码：def reduce[A1 >: A](op:
2016-08-11 16:57:17
345
原创 Scala 闭包
scala> def add(more:Int) = (x:Int) => x+moreadd: (more: Int)Int => Intscala> val increase = add(1)increase: Int => Int = scala> increase(100)res0: Int = 101定义increase 时候，就定义了一个
2016-08-11 15:16:45
178
原创 Scala 闭包
scala> def add(more:Int) = (x:Int) => x+moreadd: (more: Int)Int => Intscala> val increase = add(1)increase: Int => Int = scala> increase(100)res0: Int = 101定义increase 时候，就定义了一个
2016-08-11 15:14:01
82
原创 CDH-HBASE二级索引
1. 使用LILY HBASE NRT 索引服务1.1. 确保整个集群范围的HBase复制启用 1.2. 用shell设置column-family的复制功能a) 对于已存在的表，每个需要建立索引的列簇都需要设置REPLICATION_SCOPE，命令如下：b) 新建表，用如下命令：1.3.
2016-07-29 10:46:08
115
原创 PHP+Apache安装
一、Apache的安装1、下载Apache：官方下载地址：http://httpd.apache.org/download.cgi2、安装步骤： 1） 点Next进入下一步 2）
2012-11-19 10:18:26
401
转载 java特殊类中this使用
有时候，我们会用到一些内部类和匿名类。当在匿名类中用this时，这个this则指的是匿名类或内部类本身。这时假如我们要使用外部类的方法和变量的话，则应该加上外部类的类名。如下面这个例子：public class A{ int i = 1; public A(){ Thread thread = new Thread(){ public void run(){ f
2012-07-20 10:16:22
438
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人