基于Hadoop的Kylin测试环境搭建

最新推荐文章于 2022-11-30 14:46:25 发布
原创 最新推荐文章于 2022-11-30 14:46:25 发布 · 2.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoopkylinHortonwor

本文详述如何在单机上搭建Apache Kylin测试环境，根据官方要求，需配置Hadoop 2.4+，Hive 0.13+，HBase 0.98+及JDK 1.7+。首先，需正确安装JDK，避免JDK与JRE在同一文件夹导致问题。
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区，它能在亚秒内查询巨大的Hive表。本文旨在单机上搭建一个测试环境。
1.部署环境：根据官方文档，Kylin系统要求：Hadoop: 2.4+，Hive: 0.13+，HBase: 0.98+, 1.x，JDK: 1.7+的环境。
1.1 安装JDK，这个没啥好多说的，注意JDK和JRE不要安装在一个文件夹下，不然可能会有BUG。
1.2 部署Hadoop: 2.4+，Hive: 0.13+，HBase: 0.98+, 1.x，Kylin官方给了一个牛X的整合方案：Hortonworks Sandbo
最低0.47元/天 解锁文章
集成Apache Kylin与Apache Hadoop：实现大数据高效分析
weixin_41859354的博客
08-02 1503
Apache Kylin是一个开源的分布式分析引擎，能够提供Hadoop之上的多维分析（OLAP）能力。Kylin通过预计算存储多维立方体（Cubes）来加速查询速度，能够在数秒内完成对TB级数据的查询。支持多维分析和OLAP查询。高效的查询速度，适用于大数据环境。与Hadoop生态系统的紧密集成，包括HDFS、Hive、HBase等。支持标准SQL接口，方便业务用户使用。Apache Hadoop是一个开源的分布式计算框架，旨在处理大规模数据集。：分布式文件系统，负责数据存储。
【大数据环境安装指南】Hadoop单机版环境搭建教程
最新发布
ayst1994的博客
12-13 1819
本文介绍了Hadoop单机部署的详细步骤，适用于CentOS 7、Rocky 9等Linux系统。主要内容包括：Hadoop核心组件（HDFS、YARN、MapReduce）的功能解析；创建hadoop用户并配置SSH免密登录；下载解压Hadoop 3.4.2并设置环境变量；修改关键配置文件（hadoop-env.sh、core-site.xml、hdfs-site.xml等）。该部署方式无需搭建集群，仅依赖本地文件系统和单个JVM运行MapReduce任务，适合开发测试和学习入门。
本地搭建hadoop集群--kylin的安装（集群部署）
success could be revenge的博客
08-24 4236
kylin官方安装文档 http://kylin.apache.org/cn/docs/install/configuration.html 总结： 1、关于麒麟高可用涉及负载均衡官网都说超出范围了，安装只考虑安装的事情，其余的先忽略 2、kylin在启动的时候会自动检测你本地hadoop，hbase，hive，spark，kafka 的环境变量。配置路径 3、逐一安装不像CDH或者HD...
Ubuntu KyLin 搭建单机版+伪分布式 Hadoop 1.2.1
H U C
07-21 1779
1.首先在Ubuntu中创建用户和用户组 1.1 创建用户组hadoop 1.2 创建Hadoop用户到hadoop用户组中 这里，我的hadoop用户设置的密码是HUC 1.3给hadoop用户组赋root权限 用vi编辑器打开sudoers文件 修改如下： 这个文件是只读的，所以保存是要用wq!       具体操作   进入文件后按i  
【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档
热门推荐
赵延东的一亩三分地
04-26 15万+
对于hadoop+kylin的安装过程在上一篇文章已经详细的写了，这里只给出链接： Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机伪分布式安装及官方案例详细文档 请读者先看完上一篇文章再看本本篇文章，本文主要介绍kylin官官方提供的常规批量cube创建和kafka+kylin流式构建cube（steam cube）的过程。 1、常规cu...
Apache Kylin 分布式安装
再难也要坚持的博客
04-03 500
在写这篇文章前，先说明为何要写这篇文章。看过我之前CDH问题修复的朋友们应该知道我们公司的大数据环境崩溃过一次，原因在CDH问题修复中有相应记录。大数据环境的崩溃不得不迫使我对CDH上的服务进行恢复，除了恢复CDH已经集成的大数据组件，额外的我们安装的kylin服务也需要恢复，为了不让这次重复安装的操作没有意义，特意写下这篇kylin分布式安装，原因也是对Kylin官网分布式的相关补充，官网的介绍...
基于CentOS7的Hadoop2.7.7集群部署+Hive+Zookeeper+hbase1.x+kylin2.5.0.doc
03-16
在构建大数据处理平台时，Hadoop、Hive、Zookeeper、HBase以及Kylin是关键组件，本教程将详述如何在CentOS7系统上基于Hadoop2.7.7搭建一个分布式集群，并集成Hive1.2.2、Zookeeper3.4.14、HBase1.x和Kylin2.5.0。...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建
tiki的博客
09-14 1847
虚拟机+Zookeeper+Hadoop+Hbase+hive+kylin+nginx集群搭建，本文详细的从自身搭建时遇到的问题出发讲述了虚拟机安装、jdk安装、zookeeper、Hadoop、hbase、hive、kylin、nginx安装与配置、集群设置等方面的内容，作为学习路上的参考
基于CDH的Kylin读写分离多维分析平台搭建指南
搭建过程中，Kylin集群与已有的基于CDH的大数据平台共享一套Kerberos KDC。" 搭建Kylin多维分析平台的过程如下： 1. **主机规划与配置** 在开始搭建之前，首先需要规划Kylin集群的主机列表，并确保这些主机的信息...
kylin环境搭建
rayi_hong的专栏
09-03 758
1.添加hive_dependency环境变量 export hive_dependency=/home/user/hive/conf:/home/user/hive/lib/*:/home/user/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar 2.安装kylin vi /home/user/kylin/bin/k
Kylin部署手册
06-28
Kylin部署手册 很宝贵的大数据方向的学习资料。非常适合专注技术层次的人员学习。想要更多资源请关注。
linux-自安装WindowsOVA自动化和分发Windows作为OVA
08-13
自安装Windows OVA。 自动化和分发Windows作为OVA。
基于Hadoop开源组件部署Kylin分析平台
DataFlow范式
03-20 4206
说明：不少读者反馈，想使用开源组件搭建Hadoop平台，然后再部署Kylin，但是遇到各种问题。这里我为读者部署一套环境，请朋友们参考一下。如果还有问题，再交流。系统环境以及各组件版本信息Linux操作系统：# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) JDK版本：# java -versionjava version
Kylin的搭建
哈尔科夫坦克厂的播客
06-26 558
安装的前提是hdfs，hive，hbase，mysql等已经安装完成。上传kylin的jar包：解压修改配置文件:export JAVA_HOME=/usr/local/apps/java/jdk1.8.0_60   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JRE_HOME=$JAVA_HOME...
Kylin 集群搭建
金玉良缘
04-20 1879
1.环境说明 1.1 版本选择 1.2Kylin 安装与配置 1.2.1 软件下载 下载地址：https://archive.apache.org/dist/kylin/apache-kylin-2.3.2/ 1.2.2 解压 tar -zxvf apache-kylin-2.3.2-bin-cdh57.tar.gz 1.2.3 建立软连接 ln -s apache-kylin-2.3.2-...
Hortonworks ， 快速上手 Hadoop 的套件
wujiandao的专栏
06-03 4849
最近我在思考的一件事情：如何帮助团队 SQL 开发快速掌握大数据相关技术呢？面对疯狂暴涨的数据，SQL Server 存储成本越来越高了，日志的增长量也极大超过预期，隔三差五总有空间不足导致的应用异常。而且各种多样化的查询需求，在海量数据环境中，响应也越发慢了。 打开Google ，开始琢磨起来，找到两个工具： HDP, CDH. Hortonwork Hadoop 与 Cloudera Ha...
大数据学习1 - hadoop环境搭建及操作
weixin_52491597的博客
11-30 3991
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。[19]在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
Kylin环境搭建（保姆级教程）
tangyi2008的专栏
03-12 5301
Apache Kylin是基于Hadoop大数据平台的一个开源联机分析处理（Online Analytical Processing，OLAP）引擎。它采用多维立方体**预计算**技术，将大数据的SQL查询速度从之前的分钟乃至小时级别提升到亚秒级别，这种百倍、千倍的速度提升，为超大规模数据集上的交互式大数据分析奠定了基础。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值