hive-jdbc或者hadoop-common缺少jdk-tools

这个问题网上有各种解决方法,但是我尝试过发现不行

也有添加过依赖,但是直接一片红色

后来这样解决

<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>2.3.4</version>
            <exclusions>
                <exclusion>
                    <groupId>jdk.tools</groupId>
                    <artifactId>jdk.tools</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.4</version>
            <exclusions>
                <exclusion>
                    <groupId>jdk.tools</groupId>
                    <artifactId>jdk.tools</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

 

<think>好的,用户想在Ubuntu 22.04上搭建包含HiveHadoop集群,需要详细的安装和配置步骤。我需要结合提供的三个引用内容,尤其是引用[2]和引用[3],来构建一个清晰的指南。首先,我得确认Hadoop的安装流程,因为用户提到的是集群,但引用中都是单节点设置,可能需要说明这是伪分布式集群。然后,Hive的安装需要依赖Hadoop,所以步骤应该先完成Hadoop,再处理Hive。 接下来,检查引用内容。引用[1]提到了Hadoop官网的指南,引用[2]和[3]提供了具体的安装命令,比如Java安装、下载Hadoop、配置环境变量等。用户可能还需要配置SSH免密登录,这在Hadoop集群中是必须的,但引用中没有明确提到,需要补充这部分。 另外,Hive需要元数据存储,通常使用MySQL或Derby,引用[2]提到可能需要安装MySQL,所以需要包括MySQL的安装和配置步骤。同时,Hive的配置文件和Hadoop的集成也是关键,比如hive-site.xml的设置。 需要注意步骤的先后顺序,确保每个环节正确无误。例如,先安装Java,配置主机名和SSH,然后安装Hadoop,配置核心文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,接着格式化NameNode,启动Hadoop服务。之后再安装Hive,配置hive-site.xml,并启动Hive。 可能用户会遇到的问题包括环境变量未正确设置、配置文件错误、权限问题等,应在步骤中提醒用户注意检查这些点。此外,确保所有服务正常启动后,再安装Hive,并测试Hive是否能正常操作Hadoop中的数据。 最后,生成的相关问题需要围绕HadoopHive的优化、配置、应用场景等,帮助用户进一步学习。</think>### Ubuntu 22.04 上搭建 Hadoop 集群及 Hive 的步骤 #### 一、前置条件 1. **系统更新与依赖安装** ```bash sudo apt update && sudo apt upgrade -y sudo apt install ssh net-tools -y ``` 2. **安装 Java 8** Hadoop 依赖 Java 环境(推荐 OpenJDK 8)[^2]: ```bash sudo apt install openjdk-8-jdk -y echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc source ~/.bashrc ``` --- #### 二、Hadoop 集群配置(伪分布式模式) 1. **下载并解压 Hadoop** 使用清华大学镜像源下载 Hadoop 3.3.2[^3]: ```bash wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz tar -xzvf hadoop-3.3.2.tar.gz -C /opt sudo mv /opt/hadoop-3.3.2 /opt/hadoop ``` 2. **配置环境变量** ```bash echo 'export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc source ~/.bashrc ``` 3. **配置 SSH 免密登录** ```bash ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ``` 4. **修改 Hadoop 配置文件** - **`core-site.xml`** ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - **`hdfs-site.xml`** ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/data/datanode</value> </property> </configuration> ``` - **`mapred-site.xml`** ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - **`yarn-site.xml`** ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 5. **初始化 HDFS 并启动服务** ```bash hdfs namenode -format # 格式化 NameNode start-dfs.sh && start-yarn.sh jps # 验证进程是否包含 NameNode/DataNode/ResourceManager ``` --- #### 三、Hive 安装与配置 1. **安装 MySQL(元数据存储)** ```bash sudo apt install mysql-server -y sudo mysql_secure_installation # 按提示设置密码 ``` 2. **下载并解压 Hive** ```bash wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz tar -xzvf apache-hive-3.1.3-bin.tar.gz -C /opt sudo mv /opt/apache-hive-3.1.3-bin /opt/hive ``` 3. **配置环境变量** ```bash echo 'export HIVE_HOME=/opt/hive export PATH=$PATH:$HIVE_HOME/bin' >> ~/.bashrc source ~/.bashrc ``` 4. **修改 Hive 配置文件** - **`hive-site.xml`** ```xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive_password</value> </property> </configuration> ``` 5. **初始化 Hive 元数据库** ```bash schematool -initSchema -dbType mysql ``` 6. **启动 Hive** ```bash hive # 进入交互式命令行 ``` ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值