lgnlgn的专栏

在Windows上安装Hadoop3.x，并记录踩坑和理解

在Windows上装hadoop生态组件是一件麻烦事，但是HBase的安装却可以非常简单。目前主流的安装文档都需要装Hadoop，这里介绍一个简单的单机版安装方法，适合用来学习。1. 下载HBASE，以及Hadoop模拟工具winutils.exe下载地址都不发了，还是很容易找到的，而winutils.exe是用来模拟Hadoop的，只要有这个文件就可以了，这个也可以找得到，例如这个博客下面的留言就有。注意要把winutils.exe放在bin目录里。后面HADOOP_HOME不要指向bin，而是指

继上篇介绍的算法和单机实现。这篇介绍一下mapreduce实现。其实python的实现已经用的mapreduce的思路了，改成在真实分布式环境并不难，我在hadoop平台上简单的实现了这个算法。 Map端完成边的propagation效应，即input(fromId, toId) -> output(toId,labelinfo)。每轮计算需要上一轮节点的Label结果，一次性读到

最近又安装了一次hadoop系列，以前装过几次，但总也是磕磕碰碰的，本来想这次安装一步到位，可惜以前记录不够详细，中间还是过程还是有些遗漏，这次把过程详细记录起来。hadoop-1.1.2，  hbase-0.95-hadoop1， hive-0.10 + snappy压缩。中间遇到不少坑，记录下来；由于这次目标是三件套一步到位，因此配置的时候是一块配置了，三台ubuntu机器分别为zmhad

业余数据挖掘项目feluca想法的完整记录

MapReduce作为一个十多年的方法论，掌握过程不难，但我们需要知道MapReduce是一种什么样的方法论。这篇博客也许有一些大家从来没见过的内容。