sanmu007it-优快云博客

转载 Spark Streaming + Flume整合官网文档阅读及运行示例

1,基于Flume的Push模式(Flume-style Push-based Approach) Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Flume可以将数据推送到改receiver. 1),需求从集群中选择一台机器, 当F

2017-11-16 16:55:09 331

转载 Flume(NG)架构设计要点及配置实践

Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点：模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink 组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日志流管道

2017-11-16 16:33:42 859

转载 Flume日志收集分层架构应用实践

Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点：模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink 组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日志流管道

2017-11-16 16:29:19 502

转载 Spark:Yarn-cluster和Yarn-client区别与联系

摘要我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由cli

2017-02-17 13:38:53 3036

转载 Spark架构深入剖析

本文转之Pivotal的一个工程师的博客。觉得极好。作者本人经常在StackOverflow上回答一个关系Spark架构的问题，发现整个互联网都没有一篇文章能对Spark总体架构进行很好的描述，作者可怜我们这些菜鸟，写了这篇文章，太感动了。本文读者需要一定的Spark的基础知识，至少了解Spark的RDD和DAG。上图引入了很多术语："Executo

2017-02-17 13:16:50 501

转载 java:从消息机制谈到观察者模式

目录(?)[-] 从简单的例子开始事件机制与消息机制的区别观察者模式观察者模式设计推模型和拉模型JDK对观察者模式的支持回归本质从简单的例子开始同样，我们还是先看一个简单例子：创建一个窗口实现加法的计算功能。其效果如下：图1：加法计算 Calculator.Java: import javax.swi

2017-01-20 21:36:23 263

转载编程思想之消息机制

目录(?)[-] 编程思想之消息机制从一个剧情开始什么是消息消息机制模拟C中的消息机制Java中的消息机制JavaScript的消息机制编程思想之消息机制从一个剧情开始路遥的《平凡的世界》因为翻拍成电视剧，又再次火起来了！我们就从这里开始吧，其小说是以这样一个场景开头的：在一个半山腰县立高中的大院坝里，在一个校园内的南墙根下，按班级排起了十几个纵队的年轻

2017-01-20 21:33:00 274

转载编程思想之多线程与多进程(3)——Java中的多线程

目录(?)[-] 单线程创建线程线程同步线程控制线程等待waitnotifynotifyAll线程中断interrupt线程合并join优先级Priority 原文：http://blog.youkuaiyun.com/luoweifu/article/details/46673975 作者:luoweifu 转载请标名出处《编程思想之多线程与多进程(1

2017-01-20 20:12:03 271

转载编程思想之多线程与多进程(1)——以操作系统的角度述说线程与进程

目录：什么是线程任务调度进程线程进程与线程的区别多线程与多核一对一模型多对一模型多对多模型查看进程与线程线程的生命周期原文：http://blog.youkuaiyun.com/luoweifu/article/details/46595285 作者:luoweifu 转载请标名出处什么是线程什么是线程？线程与进程与有

2017-01-20 19:54:03 313

转载转载：你所不知道的C和C++运行库

你所不知道的C和C++运行库　　周五晚，小雨，少见的未加班。无聊，遂准备写一篇博客，介绍一下C和C++运行库，只因发现工作几年的人对此一知半解的大有人在。　　　　在使用VC构建项目时，经常会遇到下面的链接错误：　　初学者面对这些错误常常不知所错：libcmt.lib是什么东西？msvcrtd.dll又是干吗用的？在

2016-12-08 13:08:18 409

sanmu007it的博客