hadoop
关注
分享
扫一扫
文章平均质量分 76
iteye_17645
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop学习笔记 1 - hadoop-2.7.1 安装配置
1、 搭建linux环境 我准备的环境是VM RedHat Linux 6.5 64bit 设置固定IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 将IP地址设定为192.168.38.128 修改主机名： vim /etc/hosts ...原创 2015-09-12 15:05:36 · 203 阅读 · 0 评论 -
hive 配置 属性列表以及说明
HIVE 配置属性的意义，留着做笔记用，感谢大牛们的翻译 hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） 默认值：true hive.exec.mode.local.auto.inputbytes.max 如果hive.exec.mode.local.auto 为...原创 2016-02-17 16:43:59 · 476 阅读 · 0 评论 -
CDH Hadoop 集群部署方案
1、 集群规划 主机名称 主机IP 安装软件 运行的进程node1 10.1.19.100 zookeepr1 DataNode、NodeManager、JournalNode、QuorumPeerMainnode2 10.1.19.144 zookeepr2 DataNode、NodeManager、JournalNode...原创 2016-01-07 14:39:09 · 366 阅读 · 0 评论 -
sqoop2 常见问题 以及处理方式
一、报错：The specified function "connection" is not recognized.原因是版本不一样，SQOOP 1.99.4以后命令就变了: 具体看这里：https://sqoop.apache.org/docs/1.99.4/CommandLineClient.html#create-link-function 二、sqoop端口冲突 要注意一下$SQO...原创 2016-01-07 14:36:51 · 945 阅读 · 0 评论 -
sqoop2 使用实例
启动Client /usr/hadoop/sqoop-1.99.5-cdh5.5.1-bin-hadoop200/bin/sqoop.sh client 为客户端配置服务器：set server --host node3--port 12000 --webapp sqoop 【红色部分为 本机hostname 主机名和端口号】 sqoop:000> set server ...原创 2016-01-07 14:12:49 · 481 阅读 · 0 评论 -
sqoop2 安装部署、源码编译
1.安装准备工作：已经装好的 hadoop 环境是cdh版本 hadoop-2.6.0 64位下载的sqoop安装包 （不知道这个安装包支不支持64位，所以我下载的源码，然后自己编译源码）http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.5.1.tar.gz源码下载地址：http://archive.cloud...原创 2016-01-06 11:22:11 · 417 阅读 · 0 评论 -
Hadoop学习笔记 7 Hbase集群环境搭建
HBase运行模式: 单机和分布式（伪分布式、真分布式），我们今天配置的环境是真分布式环境 OS：Redhat 6.5 64bit JDK:JDK1.7 Hadoop:2.7.1 Zookeeper:3.4.6 HBase集群环境是在HDFS环境中运行的，在安装HBase集群之前必须配置好HDFS的集群环境 配置之前，请先自行到Hbase官方网站下载安装包，我...原创 2015-12-15 21:24:36 · 137 阅读 · 0 评论 -
Hadoop学习笔记 6 Hadoop源码编译
在学习Hadoop开始，便被告知官网只提供了32位系统的安装文件，如果要在64位系统中运行，那就得自己重新编译安装文件； 前段时间一直在学习怎么样安装使用Hadoop，先把编译64位的安装文件忽略了，等到对Hadoop熟悉之后再学习会更省时间，还不错，跟预想的一样。 下面就介绍一下怎么样编译64位的安装文件 系统环境 OS：RedHat6.5 64bit企业版 JDK：1.8.0_2...原创 2015-12-06 12:50:26 · 156 阅读 · 0 评论 -
Hadoop学习笔记 5 sqoop 初学习
1.上传sqoop2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://10.1.19.244:3306/openfire --username root --password 123 --tab...原创 2015-12-05 20:50:43 · 101 阅读 · 0 评论 -
Hadoop学习笔记 3 - Partioner 学习
Partioner是通过启动多个map 与Reduce来将文件中的数据进行分组, 在Mapper向Reducer输出之前对输出进行分组并根据此次分组指定每组数据在那台机器上执行，将结果输出到不同文件。 以下为实现代码： package com.itbuilder.mr; import java.io.IOException; import java.util.HashM...原创 2015-12-02 21:26:50 · 327 阅读 · 0 评论 -
Hadoop学习笔记 4 - 集群环境安装部署
一、 集群规划：主机名称 主机IP 安装软件 运行的进程hadoop01 10.1.19.130 zookeepr1 DataNode、NodeManager、JournalNode、QuorumPeerMainhadoop02 10.1.19.132 zookeepr2 DataNode、NodeManager、JournalNo...原创 2015-12-01 20:48:57 · 102 阅读 · 0 评论 -
zookeeper 集群安装配置
1、安装配置环境 OS：linux redhat6.5 64bit JDK： 1.7.1 zookeeper: 3.4.6 2、下载zookeeper安装文件 下载地址：http://archive.apache.org/dist/zookeeper/stable/ 3、 安装zookeeper 使用tar命令解压zookeeper的压缩文件即可 tar /usr/...原创 2015-11-22 13:31:29 · 104 阅读 · 0 评论 -
Hadoop学习笔记 2 - MapReduce 简单实例
1.2 MapReduce开发实例 MapReduce 执行过程，如下图，（先由Mapper进行map计算，将数据进行分组，然后在由Reduce进行结果汇总计算） 直接上代码 package com.itbuilder.hadoop.mr; import java.io.IOException; import org.apache.hadoop.conf.Co...原创 2015-10-18 11:54:52 · 168 阅读 · 0 评论 -
hive 安装部署
1、源码编译 源码下载地址 http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.5.1-src.tar.gz mvn clean package -Phadoop-2 -Pdist -DskipTests -Dtar 编译完成之后的gz文件在hive-1.1.0-cdh5.5.1/packagin...原创 2016-02-18 11:06:49 · 186 阅读 · 0 评论