- 博客(6)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 SQuirrel SQL Client 连接Hive2
一、先决条件 假设已经部署好hadoop集群并且在集群服务器上都已安装hive 首先需要启动hiveserver2服务：cd $HIVE_HOME/binhive --service hiveserver2查看hive.log确认hive2启动成功： 二、安装并配置SQuirrel 1）官网地址： http://www.squirrelsql.org/，我下载的版本是3.7.1 下载
2017-04-25 17:17:19
915
原创 Hive部署
一、集群规划 - 系统环境如下： - 操作系统：Linux - Hadoop 2.7.2 - Hive2.1.1 - MySQL 5.7.18 - JDK 1.7 hadoop集群各节点规划如下： IP 主机名 node hive metastore mysql 134.xx.3.81 master-hadoop nn1 hive metast
2017-04-20 19:21:32
436
原创 Hive部署——Linux安装mysql5.7
一、简介 我这里使用远程元存储来配置Hive Metastore，以下介绍下Hive Metasore相关概念（以下部分引用至：Hive安装配置指北（含Hive Metastore详解）： (1) Hive Metastore有3种配置方式 a\ Embedded Metastore Database (Derby) 内嵌模式 b\ Local Me
2017-04-20 08:43:33
1615
原创 Hadoop关键配置参数解释
1、mapred-site.xml1）mapreduce.map.memory.mb：每个Map Task需要的内存量； 默认值；1024M；map任务的数量=yarn.nodemanager.resource.memory-mb / mapreduce.map.memory.mb2）mapreduce.reduce.memory.mb：每个Reduce任务需要的内存量； 默认值：
2017-04-19 08:28:34
460
原创 linux下Hadoop2.7.2集群部署日志
一、本人部署过程中踩到的一些雷，供参考，少走弯路： 1）集群所有服务器安装的hadoop路径必须一致（也就是slave服务器hadoop安装路径需要和master一致） 2）先处理好主机名和hosts文件，部署hadoop 3）需要往hadoop-env.sh文件重新引入JAVA_HOME路径 4）需要在$HADOOP_HOME/etc/hadoop路径下，创建或修改slaves文件，加
2017-04-07 11:44:29
474
原创 MapReduce处理xml文件（使用旧API）
1）MapReduce项目引入jar包：hadoop-streaming-2.6.5.jar 2）main函数主要代码段：JobConf jobconf = new JobConf(new Configuration(), MreMroParser.class);jobconf.setJobName("xmlParser");//这里标记使用流式输入jobconf.set("stream.r
2017-04-01 09:17:24
1512
RESTful.Web.Services中文版（高清&带目录）
2016-06-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人