细细品味Hadoop
wang915900
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop集群(第2期)_机器信息分布表
1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。2、集群机器详细信息2.1 Master服务器转载 2013-09-03 23:10:37 · 950 阅读 · 0 评论 -
Linux yum安装过程图文详解
Yum可以从众多软件包仓库中搜索软件的依赖关系,因此可以减少由于依赖关系带来的问题。还有就是我们在使用图形界面时,在应用程序-添加删除软件下的浏览里是空的。如下图:第一种方法:(推荐)第一步:新建一个文件夹,并把光盘内的所有文件复制到这个文件夹里:[root@localhost ~]# mkdir /yum[root@localhost ~]# cp -rvf /misc/cd转载 2013-09-04 23:55:32 · 903 阅读 · 0 评论 -
Hadoop集群(第1期)_CentOS安装配置
1、准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS 都会获得七年的支持(通过安全更新方式)。新版本的CentOS 每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新的硬件。这样,建立一转载 2013-09-03 23:04:42 · 900 阅读 · 0 评论 -
Hadoop集群(第7期)_Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Ec转载 2013-09-03 23:32:32 · 827 阅读 · 0 评论 -
Hadoop集群(第6期)_WordCount运行详解
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;转载 2013-09-03 23:30:44 · 595 阅读 · 0 评论 -
Hadoop集群(第5期副刊)_JDK和SSH无密码配置
1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.youkuaiyun.com/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,转载 2013-09-03 23:25:02 · 773 阅读 · 0 评论 -
Hadoop集群(第5期)_Hadoop安装配置
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可转载 2013-09-03 23:21:18 · 982 阅读 · 0 评论 -
Hadoop集群(第4期)_SecureCRT使用
1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户机的所有特点,包括:自动注册、对不同主机保持不同的特性、打印功能、颜色设转载 2013-09-03 23:16:48 · 845 阅读 · 0 评论 -
Hadoop集群(第3期)_VSFTP安装配置
1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方面,使用ASCII代码的模式下载数据时,VSFTP的速度是Wu-FTP的两倍,如果Li转载 2013-09-03 23:13:27 · 814 阅读 · 0 评论 -
虚拟机下Red Hat实战安装YUM与openssh安装示例
在最初接触时候,跟大家一样到处去搜集资料, 学习人家怎么配置安装YUM等等,但最终一无所获, 网络资源除了复制就是 粘贴, 大量无用贴, 也导致我们这般菜鸟级别程序员对一系列的报错摸不着头绪, 尤其repodata/repomd.xml报错这个常见误导错误, 在这详细分享下自己的操作笔记, 望能帮助朋友解决朋友现在所困惑的种种问题.环境: VM虚拟机+rhel-server-6.3转载 2013-09-04 23:48:52 · 3365 阅读 · 0 评论
分享