aodeng3436-优快云博客

转载 macOS中安装docker

如官方文档中所说： 1、点击进入boot2docker/osx-installer release页面。 2、在下载页面中点击Boot2Docker-x.x.x.pkg来下载 Boot2Docker 3、将Boot2Docker-x.x.x安装在Application中。 4、启动boot2Docker虚拟机：从application中启动命令行 $ boot2d...

2016-10-09 20:18:00 150

转载 <译>Spark Sreaming 编程指南

Spark Streaming 编程指南 Overview A Quick Example Basic Concepts Linking Initializing StreamingContext Discretized Streams (DStreams) Input DStreams and Receivers Transformations on DStre...

2016-01-08 13:01:00 408

转载 <译>Zookeeper官方文档

apache原文地址：http://zookeeper.apache.org/doc/trunk/zookeeperOver.html ZooKeeper ZooKeeper: A Distributed Coordination Service for Distributed Applications Design Goals Data model and th...

2015-12-10 10:08:00 282

转载 <译>Flink官方文档-Flink概述

Overview This documentation is for Apache Flink version 1.0-SNAPSHOT, which is the current development version of the next upcoming major release of Apache Flink. Apache Flink is an open source...

2015-12-08 21:56:00 195

转载 <译>流计算容错

这篇文档描述了Flink的流式计算的容错机制 Introduction Checkpointing Barriers State Exactly Once vs. At Least Once Recovery 简介 Flink提供容错机制来对应用数据流提供持续的恢复。这个机制保证了即使在出现错误的情况下，记录也只会被处理一次。注意，这里有一个开关来降级...

2015-12-07 22:43:00 143

转载 <续>调度算法补充

cpmpute->executors: 1.从storm配置获取<compoent-id,parallelism>集合 2.storm-task-info 获得<task-id, compoent-id>集合 3.将集合处理为 [compoent-id, tasks] 4.将<compoent-id,parallelism>和<compo...

2015-11-21 16:26:00 124

转载 storm源码阅读笔记之任务调度算法

3种Scheduler概述 EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明 DefaultScheduler：和EvenetScheduler差不多，只不过会先将其它topology不需要的资源重新收集起来，再进行EventScheduler IsolationScheduler：用户可定义这个topo...

2015-11-08 22:25:00 207

转载海量数据处理方法归类

海量数据，找出最热门（频率最高）的某一数据，或前100的数据。一般情况下数据大小几百个G，而内存限制就1个G，完成计算。应用场景：　　（1）海量日志数据，提取出某日访问百度次数最多的那个IP；　　（2）搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复...

2015-11-01 22:05:00 212

转载 storm中worker、executor、task之间的关系

理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系先来看一张图（图片来自：http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_supervisor_mk-assignments.html）　　首先从微观上来...

2015-10-31 19:31:00 252