
storm
文章平均质量分 75
冰火两重天
专注于hadoop平台大数据处理的技术对机器学习以及统计学持续的不断深入
展开
-
storm 手册
在此教程中,会学到如何创建storm topologies,且将他们部署到storm cluster上。准备工作 本教程使用storm-start工程的demo。推荐复制此工程,按照demo一步一步来做。阅读setting up development environment和creating a new storm project来在你的机器上设置环境。storm cluste翻译 2013-01-08 11:55:53 · 2621 阅读 · 0 评论 -
在集群上运行topology
运行步骤 类似本地模式,在集群上运行topology步骤:1)定义topology(如果使用java,使用topologyBuilder)2)使用StormSubmitter来提交topology给集群。Config conf = new Config();conf.setNumWorkers(20);conf.setMaxSpoutPending(5000);S翻译 2013-01-10 18:03:20 · 2134 阅读 · 0 评论 -
storm保证消息被处理
storm保证离开spout的每个消息都会被成功处理。What does it mean for a message to be "fully processed"? 离开spout的tuple可以触发成千的tuple被创建。TopologyBuilder builder = new TopologyBuilder();builder.setSpout("sentences",翻译 2013-01-13 21:21:36 · 956 阅读 · 0 评论