- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 性能监控Ganglia搭建
Ganglia3.6.0监控hadoop-2.20集群和hbase-0.96.0集群ganglia介绍：Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精
2015-03-04 10:38:51
2740
原创 1-2 集群Kerberos安全配置
在集群hadoop2.2.0( 无HA)+zookeeper-3.3.5+hbase-0.96.0-hadoop2正常运行的情况下，添加kerberos认证。 一.部署目录/opt用于存放*.keytab文件mkdir -p /opt 节点部署Master1Master2Master3Master4
2015-03-04 10:35:46
2180
转载 第一个MapReduce应用：WordCount
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTr
2014-04-10 16:56:58
1235
原创 关于MBR分区--来自鸟哥的linux私房菜
Linux 中的设备硬件号文件 在 /dev 中IDE硬盘/dev/hd[a-d]SCSI/SATA/USB硬盘 /dev/sd[a-p] U盘 /dev/sd[a-p](与SCSI一样) CDROM /dev/cdrom
2014-04-09 13:27:15
1204
原创 开启hadoop和Hbase集群的lzo压缩功能
安装前：# yum -y install lzo-devel zlib-devel gcc autoconf automakelibtool 1.(all) 在集群的所有节点上安装Lzo库，tar -zxvf lzo-2.06.tar.gzcd lzo-2.06 # export CFLAGS=-m64#./configure --enable-shared
2014-04-09 13:03:43
1825
原创 2-0三台PC集群的搭建(HA+backupmaster)
说明： 本文档实现hdfs的HA功能，其中zookeeper的配置不变，hbase的配置略作修改，同时启用backup master主要是修改hadoop的配置，相关内容：参见：1-0三台PC集群的搭建（noHA）。 1.HADOOP 修改实现HDFS的HA的搭建，部署目录：/opt/hadoop-2.2.0(1)创建目录（变化）Namenode节点（maste
2014-04-09 12:59:37
1207
原创 1-0 三台PC集群的搭建（noHA）
1.部署搭建方案(no_HA)：projecthadoophadoopHbasezookeeper主机master1Namenodedatanode（NM）HMasterHRegionServerzkslave1
2014-04-09 12:56:45
3148
1
原创 0-2编译打包wordcount例子
1.编译打包#创建一个放 class 文件的目录$ mkdir class #编译 WordCount 源文件javac -classpath/opt/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar:/opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-map
2014-04-09 12:50:01
1113
原创 0-1 伪分布hadoop和hbase搭建
Hadoop-2.2.0伪分布式和hbase-0.96.0-hadoop2伪分布式搭建1. 部署（1）主机名gedit /etc/hostname master1sudo gedit /etc/hosts 127.0.0.1 master1（2）SSHsudo apt-get install sshmkdir /home/hadoop/
2014-04-09 12:44:43
1352
原创 0-0 编译hadoop2.2.0
编译hadoop-2.2.0（ubuntux86_64）###############################################1.一些准备sudo apt-get install cmake make -ysudo apt-get install g++sudo apt-get install gccsudo apt-get install bu
2014-04-09 12:41:09
1095
原创 win7下 ，CentOS-6.5-x86_64硬盘安装两个问题
1.下载ISO CentOS-6.5-x86_64-bin-DVD1.iso (4.16G)， CentOS-6.5-x86_64-bin-DVD2.iso(1.9G)，2. 由于不识别NTFS，只是别FAT32，所以格式化出一个大约10G左右的分区FAT32格式，然后将两个ISO解压至该分区根目录，重复文件覆盖，这个过程比较长。3.加载DVD1.iso的虚拟光驱，将is
2013-12-07 19:58:44
3265
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人