WRM的博客

现今redis是大体上有3种基于java语言的客户端开发包：JredisJedisRedis4J其中Jedis是官方唯一提供的java语言客户端开发包，且应该是应用最为广泛的。那便开始实战吧。一、包的准备。我使用的是jedis-2.8.0.jar包 下载地址：点击这里二、实战1.Hello word仅需短短几段代码：public static void main(String[] arg

首先，安装spark之前需要安装配置的软件有：JDK，Scala,ssh,Hadoop这些开发平台的安装配置在我之前的博客中都有详细的攻略，需要的请去看看。 hadoop安装配置再此提一句，无论是hadoop，hbase，hive，spark都是需要版本适配的，不然就会多很多步的不必要操作，版本的适配官网上都有，这里写者是使用：jdk1.7+hadoop2.6.4+scala2.11.8+spar

一、需求描述：从给出的child-parent文本中通过计算输出grandchild-grandparend 例： 源文件：child parentTom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack JesseTerry AliceTerry Jes

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。H

一、合久必分——MapReduceHDFS是hadoop的云存储，而MapReduce即是hadoop云计算。MapReduce采用”分而治之“的思想，把对大规模数据集的操作，分发给一个主节点管理下的各分节点共同完成，然后通过整合各分节点的中间结果，得到最终的结果。Map阶段：MapReduce框架将任务的输入数据分割成固定大小的片段（splits），随后将每个spli

HDFS——不怕故障的海量存储HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)，作为Hadoop的核心技术之一，是分布式计算中数据存储管理的基础。他所具有的高容易、高可靠性、高可扩展性，高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储。1、HDFS体系结构HDFS是一个主/从（Master/Slave）体系结构，它既像传统的文件系统一样，可以

一、包的依赖包的话用maven就很方便的下载了<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.1.2</version> <scope>runtime</sc

Redis学习日志【三、jedis+struts2】上次熟悉了jedis的使用，接下来慢慢的将struts2，spring框架加上去，更加熟练使用。这次我们写一个简单的用redis实现的点赞功能。用redis实现点赞并非只是因为点赞好做。而是点赞这种操作简单，但是高并发严重的操作，如果是关系型数据库。很容易导致数据库奔溃，而这正好突出了nosql的优势，由于是在缓存中操作，能高速且安全的操作。首先，

redis，一种Nosql数据库。Nosql的出现意在解决关系型数据库的诸如：大量数据写入时的耗时长，字段不固定时操作麻烦，难以快速返回简单查询的结果等缺陷而应运而生的。而虽然Nosql能解决关系型数据的一系列缺陷。然而并不是“No  sql”，而是“Not only sql”，Nosql本身由于设计的原因并不能满足某些情景,例如其不能进行事务处理，不能进行join复杂查询等。所以，该用关系型

主体刚开始学习Storm发现这个流式处理框架还是比较容易理解与使用的。也许是我刚开始学习吧。这篇博客可能没有太多干货，只是记录下来供自己以后翻看。 整个Storm程序可分为几个部分：spout：作为Storm的开始模块。bolt：作为每一个任务的处理模块。spout作为Storm的开始，spout负责读取数据并不断地给bolt以供处理。因此spout的两个核心方法便是：open()——用于读