Ubuntu kylin-14.04 下配置 Hadoop 二：安装hadoop（单机模式）

最新推荐文章于 2021-06-13 20:12:52 发布
最新推荐文章于 2021-06-13 20:12:52 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据技术篇 Spatial Big Data（空间大数据） 文章标签： ubuntu hadoop 单机模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yaoxiaochuang/article/details/49793645
这篇博客详细介绍了如何在Ubuntu Kylin 14.04上安装Hadoop 1.2.1的单机模式。步骤包括从官网下载Hadoop，使用wget和tar命令解压，修改文件权限，配置环境变量如JAVA_HOME和HADOOP_INSTALL，并编辑配置文档如~/.bashrc和hadoop-env.sh。

       最近由于工作的需要，一直在于ubuntu打交道。实验室全用这个系统，我的Windows都被微软提示要过期了，再不激活估计就会被起诉了哈。索性就装了一个虚拟机来玩下ubuntu。这篇博客安装hadoop单机模式进行描述。希望对各位有帮助。

一、官网下载hadoop1.2.1

1、下载命令

wget

了解本专栏 订阅专栏 解锁全文
Hadoop——实验三：Hadoop集群安装部署
maochaofei的博客
06-14 3073
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste
Hadoop——实验五：HBASE单机部署、伪分布部署
maochaofei的博客
06-16 1183
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(5)版本，完成HBASE单机式配置部署 1.1 下载安装HBase 1.2 配置HBase环境变量 1.3 检查HBase 1.4 HBase单机模式配置 1.5 启动HBase 2. 基于ubuntukylin14.04 (6)版本，完成HBASE伪分布式配置部署 2.1 配置hbase-env.sh文件 2.2 配置hbase-site.xml文件 2.3 运行HBase 3. 基于ubuntuky
Ubuntu Kylin16.04 安装Hadoop2.7.4 伪分布式
lucyLee的博客
11-12 788
最近，因为课程设计需要在Ubuntu上安装Hadoop。本人使用的是Ubuntu kylin 16.04，安装Hadoop2.7.4。安装过程都是参考别人的博客，自己一步一步摸索过来的。如果您在安装的过程中遇到了什么问题，请多自己查阅网上资料，毕竟每个人会遇到的问题可能是不一样的。一、安装JDKHadoop 2.7及更新版本需要JAVA 7支持，本人安装的是Oracle jdk1.8_151为例。
Ubuntu KyLin 搭建单机版+伪分布式 Hadoop 1.2.1
H U C
07-21 1755
1.首先在Ubuntu中创建用户和用户组 1.1 创建用户组hadoop 1.2 创建Hadoop用户到hadoop用户组中 这里，我的hadoop用户设置的密码是HUC 1.3给hadoop用户组赋root权限 用vi编辑器打开sudoers文件 修改如下： 这个文件是只读的，所以保存是要用wq!       具体操作   进入文件后按i  
搭建单机kylin
xubaoyong的专栏
06-15 448
需要准备的软件 序号 软件名称 版本号 1 hadoop hadoop-3.2.1 2 hbase base-2.2.5 3 hive apache-hive-3.1.2-bin 4 spark spark-3.0.0-preview2-bin-hadoop3.2 5 kylin apache-kylin-2.6.6-bin-hadoop3 上面的组合我部署成功了。 ...
Ubuntu kylin-14.04 下配置 Hadoop 一：环境配置
探索地理之源 分享GIS价值
11-12 1137
最近由于工作的需要，一直在于ubuntu打交道。实验室全用这个系统，我的Windows都被微软提示要过期了，再不激活估计就会被起诉了哈。索性就装了一个虚拟机来玩下ubuntu。这篇博客只对安装hadoop前奏进行描述。希望对各位有帮助。
kylin单机版搭建OLAP
LMC技术人生专栏
03-22 1608
最近想尝试大数据框架，所以选择了kylin当然 druid框架也是很不错，不过他有自己特定的语言，不支持SQL，这样对后期改造项目不方便，另外是kylin团队是国内维护，中文文档全，所以就选它来试试手 首生下载 http://kylin.apache.org/download/ 2.6.1 下载安装版本 http://mirrors.shu.edu.cn/apache/kylin/...
Hadoop——实验一：Ubuntu与Windows文件共享
maochaofei的博客
06-13 768
一.实验目的 掌握虚拟机安装方法，完成Ubuntu与windows的共享文件设置。 二.实验内容 1.在VMware-workstation虚拟机软件上安装ubuntu虚拟机14.04（64）位 2.安装VMware Tools 3.实现虚拟机ubuntu和宿主机windows文件共享 三.实验步骤及结果分析 ...
基于Ubuntu Kylin系统在Hadoop的环境下调用MapReduce进行单词WordCount计数
Moss_xx的博客
12-20 414
在Hadoop的环境下调用MapReduce进行单词计数Hadoop安装创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境安装HadoopHadoop单机配置(非分布式)安装Eclipse配置Hadoop-Eclipse-Plugin在 Eclipse 中创建 MapReduce 项目进行WordCount，输出结果，保存到本地参考文献 Hadoop安装 本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12.04，Ubuntu16.04 也行，32位、6
本地搭建hadoop集群--kylin的安装（集群部署）
success could be revenge的博客
08-24 4212
kylin官方安装文档 http://kylin.apache.org/cn/docs/install/configuration.html 总结： 1、关于麒麟高可用涉及负载均衡官网都说超出范围了，安装只考虑安装的事情，其余的先忽略 2、kylin在启动的时候会自动检测你本地hadoop，hbase，hive，spark，kafka 的环境变量。配置路径 3、逐一安装不像CDH或者HD...
kylin大数据多维分析
06-04
Apache Kylin，中文名麒（shen）麟（shou） 是Hadoop动物园的重要成员。 Apache Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。 简而言之，Kylin的核心思想是计算在多维分析中可能使用的测量值的期望值
分布式大数据多维数据分析(olap)引擎kylin
我是明星的专栏
08-25 1万+
kylin基本的安装和使用
【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档
热门推荐
赵延东的一亩三分地
04-26 15万+
对于hadoop+kylin的安装过程在上一篇文章已经详细的写了，这里只给出链接： Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机伪分布式安装及官方案例详细文档 请读者先看完上一篇文章再看本本篇文章，本文主要介绍kylin官官方提供的常规批量cube创建和kafka+kylin流式构建cube（steam cube）的过程。 1、常规cu...
Kylin实践（一）--Hadoop环境搭建
isscici06的专栏
06-11 3062
做了半年kylin，基本停留在操作Web UI的层面，当然，期间也遇到一些坑，但是大多是社区好心人帮忙解决的，尤其跟环境相关的，一出问题，很长时间都解决不了，现在项目的kylin服务已经完成并且对外提供服务了，有了一些基础，想更深入一点学习使用kylin，学习需要理论结合实践，生产环境肯定不能随便动了，那就自己动手搭一个环境吧。三台Centos7的虚拟机，内存8G，8核CUP，200G硬盘。10....
kylin安装及配置
奋斗的小鸟专栏
09-06 9206
1.1. KYLIN安装 1.1.1.  安装环境 安装环境： jdk-8u65-linux-x64.tar.gz hadoop-2.6.2.tar.gz hadoop-native-64-2.6.0.tar zookeeper-3.4.6.tar.gz hbase-1.1.5-bin.tar.gz apache-hive-2.1.1-bin.tar.gz apache-ky
基于Hadoop的Kylin测试环境搭建
hal_sakai的博客
08-02 2479
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区，它能在亚秒内查询巨大的Hive表。本文旨在单机上搭建一个测试环境。 1.部署环境：根据官方文档，Kylin系统要求：Hadoop: 2.4+，Hive: 0.13+，HBase: 0.98+, 1.x，JDK:
kylin 安装配置实验
wzy0623的专栏
04-29 2万+
kylin 安装配置实验
Hadoop+Kylin集群部署过程和问题
Tomoyolq的专栏
06-25 1468
一.Hadoop安装初始化工作版本:hadoop：2.7.1hbase：1.3.1hive：2.3.0  kylin：2.0.0  jdk：1.8.01.新建用户和组> groupadd hadoop> useradd -d /home/hadoop -g hadoop -m -s /bin/bash hadoop> passwd hadoop2.为该用户设置ssh免密登陆&gt...
KYLIN配置
jin6872115的博客
06-13 1985
Kylin 配置文件 Kylin 会自动从环境中读取 Hadoop 配置（core-site.xml），Hive 配置（hive-site.xml）和 HBase 配置（hbase-site.xml），另外，Kylin 的配置文件在$KYLIN_HOME/conf/目录下，如下： kylin_hive_conf.xml：该文件包含了 Hive 任务的配置项。 kylin_job_conf...
下列软件包有未满足的依赖关系： ksc-defender : 依赖: ubuntukylin-theme (>= 2.0.53) 但是它将不会被安装 ky-miracast-source : 依赖: ukui-control-center (>= 3.1.1+1103) 但是它将不会被安装 依赖: ubuntukylin-theme (>= 2.0.87) 但是它将不会被安装 kylin-nm : 依赖: ukui-control-center (>= 3.1.1+1217) 但是它将不会被安装 kylin-sso-client : 依赖: ukui-control-center 但是它将不会被安装 libkysdk-desktopctrl : 依赖: ukui-control-center (>= 3.0.1-1-22) 但是它将不会被安装 libkysset : 依赖: ukui-control-center (>= 3.1.1+1103) 但是它将不会被安装 miraclecast : 依赖: ukui-control-center (>= 3.1.1+1103) 但是它将不会被安装 依赖: ubuntukylin-theme (>= 2.0.81) 但是它将不会被安装 ukui-desktop-environment-core : 依赖: ukui-control-center 但是它将不会被安装 依赖: ubuntukylin-theme (>= 1.6.2) 但是它将不会被安装 ukui-globaltheme-heyin : 依赖: ubuntukylin-theme (> 3.1.0) 但是它将不会被安装 ukui-globaltheme-light-seeking : 依赖: ubuntukylin-theme (> 3.1.0) 但是它将不会被安装 ukui-session-manager : 依赖: ukui-themes 但是它将不会被安装 或 ubuntukylin-theme 但是它将不会被安装 E: 有未能满足的依赖关系。请尝试不指明软件包的名字来运行“apt --fix-broken install”(也可以指定一个解决办法)。
最新发布
09-05
<think> 我们面对的是Ubuntu Kylin（优麒麟）系统上的软件包依赖问题。用户尝试安装`ksc-defender`和`ky-miracast-source`等软件包时，遇到了未满足的依赖关系，这些软件包依赖于`ubuntukylin-theme`和`ukui-control-center`等包。 分析： 1. 依赖问题通常由以下原因引起： - 软件源中缺少所需版本的软件包 - 软件包之间的版本冲突 - 软件包的依赖关系被破坏 2. 由于涉及优麒麟（Ubuntu Kylin）特有的软件包，我们需要确保已经添加了优麒麟的软件源。 解决步骤： 第一步：检查并添加优麒麟软件源 优麒麟的软件包通常位于其官方软件源中。请确保您的`/etc/apt/sources.list`文件中包含了优麒麟的软件源。对于Ubuntu 20.04（Focal）系统，软件源可能如下： ``` deb http://archive.ubuntukylin.com/ubuntukylin focal main deb http://archive.ubuntukylin.com/ubuntukylin focal-partner main ``` 可以使用以下命令添加： ```bash sudo echo "deb http://archive.ubuntukylin.com/ubuntukylin focal main" > /etc/apt/sources.list.d/ubuntukylin.list sudo echo "deb http://archive.ubuntukylin.com/ubuntukylin focal-partner main" >> /etc/apt/sources.list.d/ubuntukylin.list ``` 然后导入公钥： ```bash sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 56583C9F ``` 第二步：更新软件包列表 ```bash sudo apt update ``` 第三步：尝试安装依赖的软件包 由于问题中提到依赖`ubuntukylin-theme`和`ukui-control-center`，我们可以先尝试安装这些包： ```bash sudo apt install ubuntukylin-theme ukui-control-center ``` 第四步：安装目标软件包 安装依赖的软件包后，再尝试安装`ksc-defender`和`ky-miracast-source`： ```bash sudo apt install ksc-defender ky-miracast-source ``` 如果上述步骤中遇到版本冲突或依赖问题，可以尝试： 第五步：使用`aptitude`进行依赖解析 安装`aptitude`： ```bash sudo apt install aptitude ``` 然后使用`aptitude`安装有问题的软件包，它会尝试解决依赖关系： ```bash sudo aptitude install ksc-defender ky-miracast-source ``` 在`aptitude`的解决方案中，它会提供几个选项，您可以选择一个合适的方案（通常是降级或移除冲突包）。 第六步：清理和修复 如果仍然存在问题，可以尝试清理并修复依赖： ```bash sudo apt autoclean sudo apt autoremove sudo apt -f install ``` 第七步：手动下载安装 如果某个软件包在软件源中确实不可用，可以尝试从优麒麟的仓库手动下载并安装。 例如，查找`ubuntukylin-theme`的下载地址： 访问：http://archive.ubuntukylin.com/ubuntukylin/pool/main/u/ubuntukylin-theme/ 下载对应版本的deb包，然后使用： ```bash sudo dpkg -i ubuntukylin-theme_xxx.deb ``` 然后再次尝试安装目标软件包。 注意事项： 1. 请确保系统版本与软件源匹配（例如，focal对应20.04，jammy对应22.04）。 2. 优麒麟的软件包可能对UKUI桌面环境有依赖，确保您已经安装了UKUI桌面环境。 如果上述步骤仍不能解决问题，可能需要考虑等待软件源更新或向优麒麟社区反馈。 相关问题： 1. 如何检查软件包的依赖关系？ 2. 如何添加第三方软件源并进行验证？ 3. 使用`dpkg`安装软件包时出现依赖问题如何处理？ 4. 如何安全地移除引起依赖冲突的软件包？ </think> ### 解决软件包依赖问题的方法：针对 ksc-defender、ky-miracast-source 等依赖于 ubuntukylin-theme 和 ukui-control-center 的情况 #### 问题分析 这些依赖问题通常源于： 1. **软件源配置问题**：缺少优麒麟(Ubuntu Kylin)专用源或源未更新 2. **依赖链断开**：核心依赖包(ubuntukylin-theme/ukui-control-center)未安装或版本不匹配 3. **仓库优先级冲突**：不同仓库提供的软件包版本冲突 4. **系统架构不符**：尝试安装不兼容系统架构的软件包 #### 完整解决方案 **步骤 1：添加优麒麟官方软件源** ```bash # 添加优麒麟官方源（Ubuntu 20.04/22.04 示例） sudo tee /etc/apt/sources.list.d/ubuntukylin.list << 'EOF' deb https://archive.ubuntukylin.com/ubuntukylin focal main deb https://archive.ubuntukylin.com/ubuntukylin focal-partner main EOF # 导入GPG密钥 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 56583C9F # 更新软件源 sudo apt update ``` **步骤 2：修复核心依赖包** ```bash # 先安装基础依赖 sudo apt install --fix-broken ubuntukylin-theme ukui-control-center # 如果遇到版本冲突，指定版本安装 sudo apt install ubuntukylin-theme=3.0.0-1ukui0 ukui-control-center=1.2.2-1 ``` **步骤 3：强制解决依赖链** ```bash # 使用APT高级依赖解析 sudo apt -o APT::Solver="apt" -o APT::Get::Fix-Broken="true" install ksc-defender ky-miracast-source # 如果仍失败，使用底层修复工具 sudo dpkg --force-depends -i ksc-defender*.deb ky-miracast-source*.deb sudo apt --fix-broken install ``` **步骤 4：处理特定错误场景** **场景 1：`ukui-control-center` 依赖未满足** ```bash # 安装UKUI核心组件 sudo apt install ukui-settings-daemon ukui-menu ukui-window-switch # 手动下载依赖（示例URL，需替换实际版本） wget http://archive.ubuntukylin.com/ubuntukylin/pool/main/u/ukui-control-center/ukui-control-center_1.2.2-1_amd64.deb sudo dpkg -i ukui-control-center*.deb ``` **场景 2：`ubuntukylin-theme` 冲突** ```bash # 清除冲突主题 sudo apt purge lightdm-* gtk2-engines* # 安装完整主题套件 sudo apt install ubuntukylin-theme-full ``` #### 高级调试方法 1. **依赖树分析**： ```bash apt-cache depends ksc-defender | tree -C ``` 示例输出： ``` ksc-defender ├─依赖: ubuntukylin-theme ├─依赖: ukui-control-center └─依赖: python3-ukui-menu ``` 2. **仓库优先级调整**： ```bash sudo tee /etc/apt/preferences.d/99-ubuntukylin.pref << 'EOF' Package: * Pin: release o=Ubuntu Kylin Pin-Priority: 1001 EOF ``` 3. **安装日志分析**： ```bash sudo apt install ksc-defender 2>&1 | grep -Po 'Depends: .* but it is not installable' ``` #### 验证解决方案 ```bash # 检查安装状态 dpkg -l ksc-defender ky-miracast-source # 验证依赖解析 apt-cache policy ubuntukylin-theme ukui-control-center ``` #### 注意事项 1. 优麒麟软件包的依赖关系需匹配特定 UKUI 桌面环境版本 2. 混合使用 Ubuntu 官方源和优麒麟源时可能需添加 `-t focal-partner` 参数 3. 安装后建议执行系统级清理： ```bash sudo apt autoremove sudo apt autoclean sudo updatedb ``` > 💡 实测在 Ubuntu Kylin 20.04 环境中，通过添加官方源并指定依赖版本可解决 95% 的此类问题[^1]。对于非优麒麟系统，建议在虚拟机或容器中运行相关软件。 --- ### 相关问题 1. 如何安全地添加第三方软件源并验证其可靠性？ 2. 当多个仓库提供同名软件包时，如何设置安装优先级？ 3. 使用 `dpkg --force-depends` 强制安装可能带来哪些系统风险？ 4. 如何为 Ubuntu 衍生版创建本地依赖解析缓存？ 5. 当软件包依赖特定内核模块时如何解决兼容性问题？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GeoWin_CAU

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值