
实时计算
beyondlpf
这个作者很懒,什么都没留下…
展开
-
Kafka剖析(一):Kafka背景及架构介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1/Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“K转载 2015-07-13 14:55:21 · 879 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
http://www.aboutyun.com/thread-6855-1-1.html个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章...原创 2015-07-07 14:42:57 · 152 阅读 · 0 评论 -
Flume-ng+Kafka+storm的学习笔记
http://blog.youkuaiyun.com/zxcvg/article/details/18600335/Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。 不过这里写写自己...原创 2015-07-07 14:42:36 · 139 阅读 · 0 评论 -
Kafka设计解析(三):Kafka High Availability (下)
http://www.infoq.com/cn/articles/kafka-analysis-part-3?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可...原创 2015-07-06 16:04:42 · 277 阅读 · 0 评论 -
Kafka设计解析(二):Kafka High Availability (上)
http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一...原创 2015-07-06 16:01:40 · 124 阅读 · 0 评论 -
Kafka剖析(一):Kafka背景及架构介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1/Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Ka...原创 2015-07-06 15:59:40 · 99 阅读 · 0 评论 -
cassandra 报错 unable to create new native thread
http://itindex.net/detail/45000-cassandra-节点-down在对集群做压力测试的时候,发现有节点down机,错误信息如下。google后查明原因,由于Linux "max user processes( nproc )"所致,我操作系统的是CentOS 6 64bit,修改方法如下:错误信息ERROR [Thread-2转载 2017-01-09 17:03:20 · 1241 阅读 · 0 评论 -
Storm高级原语(三) — Trident topology
http://www.dataguru.cn/article-5579-2.html摘要: 问题导读1、Trident是什么?2、如何使用Trident的API来完成大吞吐量的流式计算?3、如何使用stream作为输入并计算每个单词的个数?Trident是在storm基础上,一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数 ...问题导读转载 2015-10-14 16:58:08 · 641 阅读 · 0 评论 -
Flume-ng+Kafka+storm的学习笔记
http://blog.youkuaiyun.com/zxcvg/article/details/18600335转载 2015-07-17 14:59:16 · 593 阅读 · 0 评论 -
Storm入门
http://ifeve.com/getting-started-with-storm-1/转载 2015-07-15 11:10:44 · 450 阅读 · 0 评论 -
Storm 配置说明
什么是Storm?Storm是twitter开源的一套实时数据处理框架,基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下,通常名为storm.yaml,它符合yaml格式要求。配置项详解:以下是从storm的config类中搜集的所有storm支持的配置项(Based storm 0.6.0转载 2015-07-15 18:02:31 · 476 阅读 · 0 评论 -
Storm-0.9.0.1安装部署 指导
http://www.aboutyun.com/thread-6854-1-1.html可以带着下面问题来阅读本文章:1.Storm只支持什么传输2.通过什么配置,可以更改Zookeeper默认端口3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工作为什么2.Storm-0.9.0.1大概经过几个步骤Twitter Stor转载 2015-07-15 18:05:34 · 721 阅读 · 0 评论 -
Kafka设计解析(三):Kafka High Availability (下)
http://www.infoq.com/cn/articles/kafka-analysis-part-3?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和转载 2015-07-13 14:57:01 · 711 阅读 · 0 评论 -
Kafka设计解析(二):Kafka High Availability (上)
http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个B转载 2015-07-13 14:56:13 · 535 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2015-07-13 14:52:42 · 666 阅读 · 0 评论 -
用Apache Kafka构建流数据平台
近来,有许多关于“流处理”和“事件数据”的讨论,它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是,Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Apache Kafka的经验,介绍了如何构建一个公司范围的实时流数据中心。他们将该实时流数转载 2015-07-13 14:48:14 · 944 阅读 · 0 评论 -
用Apache Kafka构建流数据平台
http://www.infoq.com/cn/news/2015/03/apache-kafka-stream-data?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk 近来,有许多关于“流处理”和“事件数据”的讨论,它们往往都与像Kaf...原创 2015-07-07 14:43:10 · 169 阅读 · 0 评论