guanhuai123的专栏

接口作用：解决java不能多继承，用过接口变相实现多继承。屏蔽实现的不同的差异接口实例现在假如说，java想让oracle和mysql实现自己的数据源和关闭数据源，java只需要做一个接口interface出来。而oracle和mysql自己去实现这个接口即可。ok 下面先上一个组织结构，需要用到工厂模式。总共

使用Storm实现实时大数据分析博客分类： Storm 摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。优快云在此编译、整理。简单和明了，Storm让大数据分析变得轻松加

在MR实践中，会有很多小文件，单个文件产生一个mapper，资源比较浪费，后续没有reduce逻辑的话，会产生很多小文件，文件数量暴涨，对后续的hive job产生影响。所以需要在mapper中将多个文件合成一个split作为输入，CombineFileInputFormat满足我们的需求。CombineFileInputFormat 原理(网上牛人总结)：第一

Hadoop中MapReduce多种join实现实例分析  一、概述对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapRedu

本文档为java编程人员使用protocol buffer提供了一个基本的介绍，通过一个简单的例程进行介绍。通过本文，你可以了解到如下信息：1、在一个.proto文件中定义一个信息格式.2、使用protoc命令进行编译,生成java代码.3、使用Java protocol buffer API进行读写操作.l  定义proto文件以一个地址薄为例,从

Data MiningMapReduce FeaturesCountersBuilt-in Counters这些counters你在Web UI中，或是job结束后在控制台生成的统计报告中都看得到，根据名字你也能猜到这些counter是什么意思。分为3个Group：Map-Reduce FramewordMap input records，Map ski

MapReduce TotalOrderPartitioner 全局排序我们知道Mapreduce框架在feed数据给reducer之前会对map output key排序，这种排序机制保证了每一个reducer局部有序，Hadoop 默认的partitioner是HashPartitioner，它依赖于output key的hashcode，使得相同key会去相同reducer，

在上一篇文章中，讨论到在对maven的机制不熟悉的情况下，为了实现自己需要的打包格式而使用maven ant task以maven + ant的方式来实现非标准打包，而现在要介绍的是maven中针对打包任务而提供的标准插件：assembly plugin。    依然以上文（初学maven(4)-使用maven ant task实现非标准打包）的项目为例，要打包的程序如下：   

maven很强大，但是总有些事情干起来不是得心应手，没有使用ant时那种想怎么干就怎么干的流畅感。尤其当要打包一个特殊（相对maven的标准架构而且）时，常有不知所措的感觉。当然这个应该和自己对maven的了解不够有关，毕竟，“初学maven”嘛。    但是maven在依赖管理方面实在是太强大了，太喜欢，退回原来的ant方式完全不可能，我想用过maven的人，一般是不会有回到原来在cvs

之前看到过一些Nexus的介绍，由于刚开始接触maven时使用的私服是artifactory，因此没有太在意。今天想着既然Nexus能有胆量出来混，应该有点真本事才是，看了一下nexus的安装介绍，挺简单的，试试无妨。因此装上小试了一下，结果喜出望外，nexus的表现非常不错，尤其是在开启远程索引之后，简直太方便了。    于是决定放弃artifactory改而使用nexus作为自己的ma

前段时间研究过一下maven，中途因为工作忙搁置了一段时间，重新再看时发现安装过程基本忘光。只好找资料看然后再来一遍，将maven，artifactory和m2eclipse安装使用的全过程记录整理出来，备忘。另外我想这些资料应该比较适合maven的入门新手，照做一遍就可以完成三个东西的安装设置，然后就可以学习和使用了。一. 安装maven    安装官方标准的安装方式（http://

初学maven(1)-常见小问题集锦上传者：hi_720  累计赚钱 6.074 元  我也要“分享赚钱”2013/2/9关注(243)评论(0)声明：此内容仅代表网友个人经验或观点，不代表本网站立场和观点。初学maven，遇到不少问题，记录下来，呵呵，依然是备忘兼共享。

]开发环境hadoop: hadoop-1.1.2hbase: hbase-0.94.11-securityeclipse:Juno Service Release 2配置Eclipse 通过 Eclipse 创建一个新 Java 工程，右击项目根目录，选择“Properties> Java Build Path> Library>