DKhadoop安装配置流程与常见问题汇总

上周分别就DKHadoop的安装准备工作以及服务器操作系统配置写了两篇分享的文章,这是个人第一次尝试写一个系统性的分享文章,必然会有很多疏漏的地方,还望见谅吧。今天分享的是DKHadoop安装以及常见问题的解决方案方法介绍。

首先给大家分享一下DKHadoop安装步骤:

1)启动安装

步骤:执行以下命令。

命令:

cd /root/DKHPlantform/dkh-tomcat-7.0.56/bin/

./startup.sh

2)登录

启动成功后浏览器键入主节点ip

登陆默认用户名和密码:

Username:admin

Password: 123456

后续根据提示安装

3)组件安装路径

建议采用默认安装路径,即/opt/dkh/,注意千万不要放/root/,不然impala等组件的安装可能出现问题

DKhadoop常见问题解决方法

1. hdfs的zkfc出现如下问题时,可尝试以下方法:

 DKhadoop安装配置

1) 先格式化hadoopzk:hdfs zkfc -formatZK

2) 启动zk,sbin下:  ./hadoop-daemon.sh start zkfc

3) 设定失败转移的namenode: hdfs haadmin -failover nn1 nn2

2. hue页面打不开,显示如下内容时,说明没有创建hue数据库,可在主节点执行此文件,根据提示输入Y即可

 DKhadoop安装配置


DKhadoop安装配置3. hue页面打不开,显示如下内容时,可执行如下命令解决:

# cd /opt/dkh/hue-3.12.0/build/env/bin

# ./hue syncdb        之后输入no

 # ./hue migrate

 DKhadoop安装配置

4. Essql页面打不开,显示如下内容时,可通过以下方式解决

(1) 主节点运行命令:source /etc/profile,后重启Tomcat(注意使用shutdown命令之后,若还存在相关进程,需手动kill掉)

适用于环境变量不生效的情况,比如,Java的版本识别的是1.7,而不是1.8;hdfs相关命令不识别等。

(2) 重启Tomcat,注意使用shutdown命令之后,若还存在相关进程,需手动kill掉

适用于启动了多个Tomcat进程的情况。

 DKhadoop安装配置

### 下载和安装 Hadoop 开源软件 #### 获取 DKHadoop 版本 对于新手而言,推荐使用 DKHadoop 的三节点标准版本进行学习研究[^2]。此版本适合初学者,并且可以免费获取。 #### 准备工作环境 确保操作系统支持 Java 运行环境 (JRE),因为 Hadoop 是基于 Java 构建的应用程序。通常情况下,Linux 或 macOS 更加适合作为开发平台;Windows 用户可能需要配置额外的支持工具如 Cygwin 来模拟 Unix 环境。 #### 安装步骤概述 1. **Java 安装** 需要在目标机器上预先安装好 JDK(建议采用 Oracle 提供的官方版本),并通过设置 `JAVA_HOME` 变量指向该路径。 2. **下载 Hadoop 发行版** 访问 Apache 官方网站或其他可信渠道下载最新的稳定发行版压缩文件。如果选择了 DKHadoop,则按照其提供的指引完成下载过程。 3. **解压配置** 将下载好的 tarball 文件解压到指定目录下,编辑必要的配置文件(如 core-site.xml, hdfs-site.xml 和 yarn-site.xml)。这些文件位于 `$HADOOP_HOME/etc/hadoop/` 路径内。 4. **启动服务** 使用命令行进入 hadoop 主目录并执行如下指令来初始化 NameNode 并启动集群: ```bash bin/hdfs namenode -format sbin/start-dfs.sh ``` 5. **验证安装成功否** 打开浏览器访问 http://localhost:9870 查看 Web UI 是否正常显示 Namenode 信息页面即可确认是否部署成功。 ```python # Python 示例代码用于展示如何通过编程方式连接至已搭建完毕的 HDFS 系统 from pywebhdfs.webhdfs import PyWebHDFSClient client = PyWebHDFSClient(host='localhost', port='9870') response = client.list_dir('/') print(response) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值