本文探讨了在大数据环境下，如何通过整合Hadoop、Couchbase与Storm，解决数据量、数据增长速度与数据处理速度三大挑战，实现从实时分析到离线分析的无缝对接。
我很兴奋地宣布Big Data Central正式面世！
本文以我使用的couchbase为例讲述NoSQL数据库在大数据世界中的位置。
曾经Hadoop就是大数据。但是Hadoop作为线下数据分析的利器并不适合当前大数据的需求。我们需要一种解决方案，一个包含了Hadoop又不限于Hadoop的方案，一个可以同时满足线上数据分析与线下数据分析双重功能的方案，一个可以同时满足强大数据分析和运营需求的方案。
现在大数据生态包括用于实时处理的Storm，用于高性能数据访问的Couchbase，用于离线分析的Hadoop，以及其它组成。
大数据面临三个挑战：
- 产生的数据总量，也即数据量。
- 数据产生的速度，也即数据增长速度。
- 数据处理的速度，也即数据消化速度。
Hadoop的长处在于解决海量数据。它可以储存并最终处理海量数据，而且具有良好的扩展性，但这种处理方式没有考虑数据增长速度。因此Hadoop解决了线下数据分析的需求。
Couchbase的长处在于处理不断涌入的数据。它是一个可以立刻存入大量数据的高性能NoSQL数据库，通过扩展可以进一步提高它的存储速度和存储容量。但它不考虑处理数据的速度。它能够通过REST方式存储和处理数据，因此满足了运营需求。
Storm的长处是数据消化速度。它可以实时处理一个数据流，通过扩展可以提高处理速度。不过它不考虑数据量或数据增长的问题，因为它根本不储存数据。它始终保持对数据进行实时处理，因此满足线上分析的需求。
这三个挑战通过集成Storm，Couchbase和Hadoop可以解决。首先让数据流经过Storm完成实时分析处理，接着把数据流导入Couchbase进行存储以便Hadoop进行线下分析。
原文地址：http://blog.couchbase.com/modern-big-data-hadoop
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
