Shark0.9.1安装

最新推荐文章于 2025-09-13 19:07:06 发布

weixin_34040079

最新推荐文章于 2025-09-13 19:07:06 发布

阅读量122

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据 java

原文链接：https://my.oschina.net/scipio/blog/305838

本文档详细介绍了如何在Hadoop环境下安装配置Shark，包括必要的环境变量设置、解决启动过程中遇到的问题以及如何创建Hive表。针对常见的Java验证错误提供了具体的解决方案。

为什么80%的码农都做不了架构师？>>>

1、下载shark-0.9.1-bin-hadoop2

解压缩，配置conf/shark-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export SCALA_HOME=/usr/lib/scala
export HADOOP_HOME=/root/app/hadoop-2.2.0
export SPARK_HOME=/root/app/spark-1.0.0-bin-hadoop2
export HIVE_HOME=/root/app/apache-hive-0.13.1-bin
export MASTER=spark://192.168.2.215:8088

2、下载apache-hive-0.13.1-bin

解压缩，配置conf/hive-env.sh

HADOOP_HOME=/root/app/hadoop-2.2.0

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/root/app/apache-hive-0.13.1-bin/conf

配置conf/hive-site.xml 以及conf/hive-default.xml（从hive-default.xml.template拷贝过来）

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.2.215:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

配置用户名和密码

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>xxx</value>
  <description>password to use against metastore database</description>
</property>

3、启动shark

./shark-withinfo

报错

 java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$SetOwnerRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet

修改

root@xxx:~/app/shark-0.9.1-bin-hadoop2/lib_managed/jars/edu.berkeley.cs.shark/hive-exec# jar -xf hive-exec-0.11.0-

shark-0.9.1.jar 
root@xxx:~/app/shark-0.9.1-bin-hadoop2/lib_managed/jars/edu.berkeley.cs.shark/hive-exec# rm -rf com/ hive-exec-

0.11.0-shark-0.9.1.jar 
root@xxx:~/app/shark-0.9.1-bin-hadoop2/lib_managed/jars/edu.berkeley.cs.shark/hive-exec# jar -cf hive-exec-0.11.0-

shark-0.9.1.jar .

创建表

~/app/shark-0.9.1-bin-hadoop2/bin# ./shark -f createTable.sql

转载于:https://my.oschina.net/scipio/blog/305838