cakecc2008的专栏

最近有些了一个UDAF，在调试时，遇到了一些奇怪的现象，明明逻辑正确，却总是得不到预期的结果。而且测试环境正确，但是放到生产环境的不正确。通过对应中间变量日志，看到以下数据：以上是map的日志输出，可以看到，两次输入的value数组，在第四行的oprations（中间缓存变量）时，变成了两个一模一样的数组。这是一个典型的引用变量问题。观察代码如下：private ArrayList&...

由于业务需要，编写了一个自定义的聚合函数，实现一个自定义的累加器。因为其中vlues需要排序，所以就使用了一个TreeMap，根据模板及《hadoop权威指南》中的说明，merge()方法，接受一个对象作为输入。这个对象的类型必须和terminatePartial()方法的返回类型一致。我的代码片段如下：private TreeMap<Long,ArrayList<Lon...

最近在学习hadoop的安装部署，在做ssh免密码配置的时候，老是失败，每次都要提示Enter passphrase for key '/home/hadoop/.ssh/id_rsa':回车后又提示hadoop@hadoop01's password: 网上搜索大半天也没有解决，最终只能将.ssh整个删除，重新配置，这时候我才发现，我之前的操作和教程里面的有些不同，那就是在输

昨天晚上通过jps名录检查到进程已经启动，满以为hadoop已经安装成功了，没想到在做wordcount试验时，才发现报错，错误是做常见的：could only be replicated to 0 nodes, instead of 1查看namnode的启动日志，果然发现报错：2016-11-24 20:07:40,983 ERROR org.apache.hadoop.secur

今天在学习到hadoop的回收站机制时，得知，在删除一个文件后，在hadoop的回收站文件夹中会存在一个与被删除文件同名的文件，其实也就是从之前的目录move过来的而已。然后又额外想到，然后又上传一个同名文件导dfs，之后再删除，那么回收站中会怎么命名之后删除的文件呢？在百度上简单的搜了下，竟然没有搜到结果，遂自己做试验测试。1、在conf/core-site.xml参数文件中增加以下参数。（

由于前期做了些准备工作，看了一遍教程，对hadoop的整个原理有了大概的了解，在看第二遍教程的时候，开始真正动手搭建hadoop环境，除了在配置ssh免密码登录的时候，走了写弯路，卡了两个小时，在这昨晚文章中已经有记录。总体上还算顺利，先将整个过程大概记录下来1、硬件准备：此次我准备了3台虚拟机作为硬件环境，安装linux比较顺利，用的是redhat 5 三个机器分别如下：

sqoop有两个版本两代之间是两个完全不同的版本，不兼容 sqoop1：1.4.x sqoop2：1.99.

上一篇已经完成了sqoop2的安装，本篇文章介绍sqoop2将数据从Oracle导入hdfs已经从hdfs导入Oracle1、连接sqoop2服务sqoop2是c/s模式，之前安装并启动的是sqoop的服务端，如果想要使用和操作sqoop2，需要通过客户端连接到服务端，然后使用。只要保证服务端正常处于运行状态，客户端可以从任意终端发起。也就是说，客户端可以是一台只解压了sqoop2安装包的

zookeeper管理数据库连接信息本文将讲解如何利用zookeeper来管理项目中的数据库连接信息，即将数据库的IP、账号密码等信息存储在zookeeper中，这样的好处是可以将多个工程的数据库连接集中管理，而zookeeper本事又是分布式的，所以可靠性又有保障。一、安装zookeeper1、下载zookeeper可以通过官方网站或者国内镜像下载：官方网站：ht...