spyiu的专栏

1、MapReduce理论简介   1.1 MapReduce编程模型 　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

通过对Hadoop分布式文件系统的的基本使用，对HDFS Shell的基本操作进行如下总结 1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin]# hadoop fs -ls 1.2 上传数据到HDFS 上传： [root@slave1 bin]# hadoop fs -put ../co

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503925.html 1、SecureCRT简介   　　SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1、集群部署介绍   1.1 Hadoop简介   　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504132.html 1、Linux配置java环境变量   1.1 原文出处     地址：http://blog.youkuaiyun.com/jiedushi/article/details/6672894   1.2 解压安装jdk 　　在shell终端下进入jdk-6

1、准备安装   1.1 系统简介 　　CentOS 是什么？   　　CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html 1、分布式环境搭建 　　采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构   　　其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.html 1、VSFTP简介 　　VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。 　　安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高

Sqoop 用户帮助文档： http://sqoop.apache.org/docs/1.4.1-incubating/SqoopUserGuide.html