冰墨白

一、知识预热了解hadoop概念，及其家族树。hadoop是是一个能够对大量数据进行分布式处理的软件框架。Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop CommonHDFS: Hadoop分布式文件系统(Distribut

抽空还是继续看hadoop相关资料，记录心得

最近看了些资料，关于hadoop大集群实施阶段，会碰到的ji'ge

由于hive的使用需用到mysql，继续dao'tubuntu下安装mysql

HBase0.96.0安装说明注：安装配套Hadoop2.2.0版本的HBase,需要hbase-0.96.2-hadoop2-bin.tar.gz1.1 下载安装包下载地址：http://mirror.esocc.com/apache/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz安装：$ tar -zxf hbas

windows下可以安装配置hadoop, 但为了稳定, 还是决定安装linux. 1.准备U盘(16G)参考资料:u盘安装ubuntu12.10,地址如下: http://www.linuxidc.com/Linux/2012-11/74695.htm 根据上面的教程,基本都能进入安装界面, 然后关于分区问题,没有详细指导, 继续搜索,发现下面帖子的分区介绍的比较详细ht

学习hadoop过程中最经常的是使用到linux下的vim命令，现整理如下：

eclipse中最常使用的SVN插件是subclipse，先到subclipse官网：http://subclipse.tigris.org下载该插件。也可以在 eclipse market下直接搜索s

从网上搜索配置教程，以下博文的作者写的非常好，完全可以实施，便将内容拷贝至此，加上适当的注解，以作备用。 http://www.micmiu.com/bigdata/hadoop/hadoop2x-single-node-setup/本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤，并且演示运行一个简单的job。目录结构如下：基础环境配置H

最近在做hadoop、spark集群搭建，遇到ssh免密钥登录无效的问题，发现是对应目录的执行权限不对，记录以备查每一台节点机器的用户名都统一为hadoop，在 /home/hadoop 执行chmod -R 755 /home/hadoop然后在ssh目录执行chmod -R 700 ~/.ssh