Hadoop
关注
分享
扫一扫
iteye_17225
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
编写WordCount程序
编写自己WordCount程序 package rock.lee.wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...原创 2015-06-15 15:00:27 · 181 阅读 · 0 评论 -
HBase集群搭建
cetnos1：HMaster（active） cetnos2：HMaster （standby） centos4：HRegionServer centos5：HRegionServer centos6：HRegionServer 1、安装Zookeeper集群 2、要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 ...原创 2015-10-09 15:11:25 · 112 阅读 · 0 评论 -
Hive CLI
1、创内部建表，hive把数据移动到仓库目录，hive管理数据，所以drop表时会把元数据和数据一起删除 create table user (id int, name string) row format delimited fields terminated by '\t' 2、将本地文件系统上的数据导入到表中 load data local inpath '/root/use...原创 2015-10-11 15:49:10 · 111 阅读 · 0 评论 -
Flume数据收集
1、创建flume监听的目录，如果不嫌创建，启动flume时会报错 2、配置flume sources：目录 channels：内存 skin：hdfs #定义agent名， source、channel、sink的名称 a4.sources = s1 a4.channels = c1 a4.sinks = s1 #具体定义source...原创 2015-10-11 17:00:12 · 122 阅读 · 0 评论 -
sqoop数据的导入和导出
1、将mysql驱动拷贝到sqoop的lib中 2、测试sqoop与mysql的连接 [root@centos1 bin]# sqoop list-databases --connect jdbc:mysql://192.168.1.100:3306/ --username root --password root 3、从mysql导入到hdfs sqoop #...原创 2015-10-11 17:54:54 · 205 阅读 · 0 评论 -
CentOS6.4下Hadoop1.1.2伪分布式环境搭建
使用VirtualBox搭建伪分布式环境，Linux为CentOS6.4，网络连接模式为Host-only 物理环境虚拟机网卡地址设置为192.168.56.0/24网段 设置CentOS的IP地址，必须和虚拟机网卡地址在同一网段，配置完CentOS的IP地址后重启一下网卡 [root@centos /]# service network restart Shutt...原创 2015-05-19 22:06:58 · 173 阅读 · 0 评论 -
HDFS fs命令
启动hadoop [root@centos local]# start-all.sh 查看进程 [root@centos local]# jps 3310 JobTracker 3008 NameNode 3120 DataNode 3471 TaskTracker 3230 SecondaryNameNode 3562 Jps hdfs命令都是以hadoop ...原创 2015-05-20 21:34:42 · 237 阅读 · 0 评论 -
HDFS FileSystem常用方法
工程所依赖的jar包， hadoop-1.1.2/*.jar、hadoop-1.1.2/lib/*.jar 编写Java程序通过URL访问HDFS public class HDFSTest { public static final String HDFSPATH ="hdfs://centos:9000/hello.txt"; @Test public...原创 2015-05-22 16:43:01 · 945 阅读 · 0 评论 -
HDFS基本概念
HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件，这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据访问)，HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计...原创 2015-05-25 23:11:56 · 255 阅读 · 0 评论 -
HBase简介（很好的梳理资料）
一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop become A...原创 2015-10-04 17:13:57 · 121 阅读 · 0 评论 -
MapReduce统计手机上网流量
统计手机上网的上行流量和下行流量 数据格式： 统计手机的上网流量只需要“手机号”、“上行流量”、“下行流量”三个字段，根据这三个字段创建bean对象，该对象要实现Writable接口，以便实现序列化，并且要有无参构造方法，hadoop会使用反射创建对象 public class PhoneBean implements Writable { privat...原创 2015-09-21 15:27:11 · 269 阅读 · 0 评论 -
Hadoop MapReduce入门
MapReduce是个毛 Hadoop是一个分布式计算系统，两大核心HDFS，这是搞文件的，MapReduce，这是搞计算的。MapReduce是一种编程模型，类比为设计模式，好比最佳实践，编写是先写map函数，再写reduce函数。 Shuffle是个毛 这个图来自《Hadoop，The Definitive Guide》，就是“谁说大象不能跳舞”那本书，用来描述...原创 2015-06-17 17:36:30 · 118 阅读 · 0 评论 -
MapReduce编程模板
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritab...原创 2015-08-05 11:33:57 · 90 阅读 · 0 评论 -
VirtualBox+Centos6.4搭建Hadoop1.1.2分布式环境
伪分布式环境搭建http://mvplee.iteye.com/blog/2212629 复制之前在VirutalBox搭建的伪分布式环境，修改主机名，分别为hadoop1、hadoop2、hadoop3 修改每台主机的主机名，分别为hadoop1、hadoop2、hadoop3 /etc/sysconfig/network /etc/hosts reboot ...原创 2015-08-07 14:16:20 · 151 阅读 · 0 评论 -
分布式环境ZooKeeper3.4.5安装和JavaAPI
VirtualBox+Centos6.4搭建Hadoop1.1.2分布式环境http://mvplee.iteye.com/blog/2233435 确保集群内服务器时间一致 解压文件 [root@hadoop1 local]# tar -zxvf zookeeper-3.4.5.tar.gz 配置home变量 [root@hadoop1 local]#...原创 2015-08-07 21:29:33 · 209 阅读 · 0 评论 -
伪分布环境安装HBase
解压文件，重命名 [root@centos local]# tar -zxvf hbase-0.94.7-security.tar.gz [root@centos local]# mv hbase-0.94.7-security hbase-0.94.7 在/etc/profile中配置环境变量 export HBASE_HOME=/usr/local/hbase-...原创 2015-08-10 15:08:16 · 179 阅读 · 0 评论 -
HBase Shell And JavaAPI使用
HBase shell操作 表创建 #进入hbase shell [root@centos bin]# hbase shell #创建一张user表，有三个列族 hbase(main):001:0> create 'user','uid','address','info44' #查看表 hbase(main):002:0> list TABLE user ...原创 2015-08-12 15:45:54 · 137 阅读 · 0 评论 -
Hive And MySQL安装及设置
Hive安装 解压 [root@centos local]# tar -zxvf hive-0.9.0 配置/etc/profile环境变量 export HIVE_HOME=/usr/local/hive-0.9.0 export PATH=.:$HADOOP_HOME/bin:$HBASE_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/...原创 2015-08-17 15:38:48 · 94 阅读 · 0 评论 -
hadoop 2.2.0 伪分布安装
Linux配置 1、配置ip地址：192.168.56.100/24 2、修改主机名：/etc/sysconfig/network 3、修改主机名和IP地址的映射：/etc/hosts 4、关闭防火墙： service iptables stop、chkconfig iptables off reboot 解压命令：tar -zxvf 安装jdk 解压j...原创 2015-09-18 23:01:50 · 139 阅读 · 0 评论 -
Hadoop hdfs-site.xml文件常用配置
name value Description dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。 dfs.datanode.du.reserved 1073741824 每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保...原创 2015-05-27 14:49:34 · 354 阅读 · 0 评论