小东升职记

kafka0.9版本之前，offset存储在zookeeper，0.9版本以及之后，默认offset存储在kafka的一个内置的topic中。除此之外，kafka还可以选择自定义存储offset。 offset的维护是相当繁琐的，因为需要考虑到消费者的Rebalance。 当有新的消费者加入消费者组、已有的消费者推出消费者组或者锁订阅的主题的分区发生变化，就会触发到分区的重新分区，重新分区的过...

目前Scala的开发工具主要有两种：Eclipse和IDEA，这两个开发工具都有相应的Scala插件，如果使用Eclipse，直接到Scala官网下载即可http://scala-ide.org/download/sdk.html。   由于IDEA的Scala插件更优秀，大多数Scala程序员都选择IDEA，可以到http://www.jetbrains.com/idea/download/...

  import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { /** * 创建SparkConf（）并设置App名称 * local指本地 * 2代表在本地起两个线程 */ ...

实时处理系统：（Flume+Kafka+Storm+hbase+mysql）  为什么要记录访问日志的行为？ 通过日志我们可以得到网站页面上的访问量，网站的黏性，推荐用户行为分析， 是指在获得网站访问量基本数据的情况下，对有关数据进行统计、分析，从中发现用户访问网站的归类， 并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步修正 或重新制定网络营...

注解很详细，最主要是要明白wordcount这个统计模型，demo虽小，思想很深厚    

Window Operations有点类似于Storm中的State，可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext} object Wind...