Hadoop Hive Hbase Kylin 环境搭建

最新推荐文章于 2021-02-07 19:53:42 发布

转载最新推荐文章于 2021-02-07 19:53:42 发布 · 223 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/lpe234/blog/850464

本文详细介绍了一种典型的大数据环境搭建过程，包括Hadoop、Hive、Hbase、MySQL及Kylin等组件的安装配置步骤。从环境变量配置到各软件的具体安装流程均有涉及。

为什么80%的码农都做不了架构师？>>>

# 安装版本
| SoftWare      | Version       |
| ------------- |:-------------:|
| JDK           | 1.8           |
| Hadoop        | 2.7.3         |
| Hive          | 2.1.1         |
| Hbase         | 1.3.0         |
| MySQL         | 5.7.17        |
| Kylin         | 1.6.0         |

以上全部运行、大概至少需要2GB内存

一、搭建Hadoop环境

安装JDK(1.8)
- http://www.oracle.com/technetwork/java/javase/downloads/index.html
- 下载地址
- 配置环境变量。
```
	JAVA_HOME, JRE_HOME, 以及PATH
```

下载Hadoop(2.7.3)

	# hadoop-env.sh 配置
	export JAVA_HOME=`absolute path`

	# core-site.xml 配置
	<configuration>
	    <!-- 指定HDFS老大（namenode）的通信地址 -->
	    <property>
	        <name>fs.default.name</name>
	        <value>hdfs://localhost:9000</value>
	    </property>
	    <property>
	        <name>hadoop.tmp.dir</name>
	        <value>/path/to/tmp</value>
	    </property>
	</configuration>

	# hdfs-site.xml 配置
	<configuration>
	    <!-- 设置hdfs副本数量 -->
	    <property>
	        <name>dfs.replication</name>
	        <value>1</value>
	    </property>
	</configuration>

二、搭建Hive环境

安装mysql(5.7.17)
- https://dev.mysql.com/downloads/mysql/
- 下载地址
- 该版本推荐使用ssl, 否则会有警告, 暂时忽略... (&useSSL=false)

安装Hive(2.1.1)

hive需要创建一个叫“元数据库”的东西，需要一个数据库来支持，比如MySQL
由于使用MySQL. 需要在hive的 lib文件夹中，添加 “mysql-connector-java-xxx.jar”

	# hive-env.sh 配置
	HADOOP_HOME=/usr/hadoop-2.7.3

	# 创建一个 hive-site.xml 文件
	# 其实就是比 hive-default.xml 优先级高一些的子集
	# 主要配置 MySQL 数据库连接
	<?xml version="1.0"?>
	<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

	<configuration>
	    <property>
	        <name>hive.metastore.local</name>
	        <value>true</value>
	    </property>
	    <property>
	        <name>javax.jdo.option.ConnectionURL</name>
	        <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8</value>
	    </property>
	    <property>
	        <name>javax.jdo.option.ConnectionDriverName</name>
	        <value>com.mysql.jdbc.Driver</value>
	    </property>
	    <property>
	        <name>javax.jdo.option.ConnectionUserName</name>
	        <value>root</value>
	    </property>
	    <property>
	        <name>javax.jdo.option.ConnectionPassword</name>
	        <value>root</value>
	    </property>
	</configuration>

	# 可以~~~
	cp hive-default.xml.template hive-default.xml
	cp hive-log4j2.properties.template hive-log4j2.properties

然后，需要初始化一下 hive的数据库表
```
	schematool -dbType mysql -initSchema
```

三、搭建Hbase环境

安装Hbase(1.3.0)

http://hbase.apache.org/
下载地址
此版本自带Zookeeper

	# 设置环境变量 hbase-env.sh
	export JAVA_HOME=/usr/jdk1.8.0_121/

	# Extra Java CLASSPATH elements.  Optional.
	export HBASE_CLASSPATH=/usr/hadoop-2.7.3/etc/hadoop

	# 是否使用自带Zookeeper
	export HBASE_MANAGES_ZK=true

	# 设置 hbase-site.xml
	<?xml version="1.0"?>
	<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

	<configuration>
	  <property>
	     <name>hbase.tmp.dir</name>
	     <value>/home/lpe234/hbase-tmp</value>
	  </property>
	</configuration>

四、搭建Kylin环境

安装Kylin(1.6.0)

	# 配置大体无需修改
	# 但是需要设置一下环境变量(PATH....)
	# /etc/profile (source /etc/profile)
	# 增加如下内容

	export JAVA_HOME=/usr/jdk1.8.0_121/
	export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
	export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

	export HADOOP_HOME=/usr/hadoop-2.7.3
	export HIVE_HOME=/usr/hive-2.1.1
	export HIVE_CONF=/usr/hive-2.1.1/conf/
	export HCAT_HOME=/usr/hive-2.1.1/hcatalog/
	export HBASE_HOME=/usr/hbase-1.3.0
	export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH

	export KYLIN_HOME=/usr/apache-kylin-1.6.0-hbase1.x-bin

五、启动

# MySQL 启动
service mysql restart
# Hadoop 启动
hadoop-2.7.3/sbin/stop-all.sh
hadoop-2.7.3/sbin/start-all.sh
# Hive 启动
# 无需启动 hive-2.1.1/bin/hive
# Hbase 启动
hbase-1.3.0/bin/stop-hbase.sh
hbase-1.3.0/bin/start-hbase.sh
# Kylin 启动
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh stop
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh start

# 然后就可以了~~~
Please visit http://<ip>:7070/kylin 
The username/password is ADMIN/KYLIN

参考资料

转载于:https://my.oschina.net/lpe234/blog/850464