sheen口开河

Storm学习笔记一、简介Storm是一个免费开源的分布式实时计算系统，它使得可靠地处理无限的数据流更加容易，可以实时的处理Hadoop的批量任务。Storm简单易用，且支持各种主流的程序语言。Storm有很多适用场景：实时分析、在线机器学习、连续计算、分布式RPC、分布式ETL、易扩展、支持容错，可确保你的数据得到处理，易于构建和操控。下图是Storm“流式数据处理”的概念图，即数据像水流一样从数

在自己写的一个Demo中使用了数据库存储的操作，发现一些问题，场景大致是：spout从kafka中读取数据，发送给bolt1计算得到一个数据，bolt1发给bolt2存储到Redis，bolt2发送给bolt3，在bolt3中存储到Mysql。在前面两个bolt中都没啥问题，在bolt3中，当并发量非常大时，存在获取不到数据库连接的问题，笔者首先使用的是原声jdbc，然后换了C3P0连接池，都会在不同时机出现上述问题

Strom 消息可靠性保障机制和Ack原理Storm提供了消息处理的保障机制，可以保证从Spout发射出的每个tuple都得到完整的处理。当然Storm消息处理保障机制的前提是你使用了这种特性，如果你的业务对偶尔丢失的tuple不敏感，那么也没必要启用这种机制，毕竟有得就会有失。