impala和hive及kylin的速度对比

最新推荐文章于 2024-07-03 16:37:06 发布
最新推荐文章于 2024-07-03 16:37:06 发布
阅读量7.1k 收藏 5
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40885383/article/details/91044102
本文探讨了在处理相同HDFS数据时，Impala相较于Hive的显著性能优势，Impala仅需1分半即可完成任务，而Hive则需约30分钟。此外，提到了Kylin作为另一数据处理工具的使用方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hive中map跑完reduce跑了13%已经12分半了，完成大概要30分钟

hive完成

impala完成只要1分半

其中kylin需要自建工程将hive或者其他数据导入，impala和hive数据源都是一样的  同样是hdfs

的数据，而且impala的元数据也是保存在hive的元数据里的。

 

【构建PB级准实时分析引擎】 - 对比druid，clickhouse,kylin,KAWQ,presto，spark sql，impala等主流开源离线数据分析引擎
巨魔战将
11-28 1674
文档说明   对于每日10TB+的数据增量，应该选择什么样的离线分析引擎，才能既高效，有低成本？   追求性能极限的同时，也需要兼顾向后扩展性，比如人才招聘，运维成本，部署成本，分析场景变化等，那么如何才能选择最适合自己的离线分析引擎呢？   本文从自身需求的视角出发，综合对比目前主流的开源离线分析方案，以寻找最合适的离线分析方案，来满足自己的需求。   对于目前较为主流的druid，clickhouse,kylin,KAWQ,presto，spark sql，impala进行了多方面的评比，仔细分析，以寻
大数据Kylin（一）：基础概念和Kylin简介
Lansonli（蓝深李）的博客
02-10 1973
对于Hive中的维度表和事实表，根据我们指定的维度列来构建cube，cube是所有维度的组合，任一维度的组合称为cuboid，即：cube中包含所有的cuboid。正规化也是一种比较复杂的过程，相应的数据库结构设计、数据的 ETL、以及后期的维护都要复杂一些。MOLAP （Multidimension OLAP）： MOLAP支持数据的多维视图，采用多维数据组存储数据，它把维映射到多维数组的下标或下标的范围，而事实数据存储在数组单元中，从而实现了多维视图到数组的映射，形成了立方体的结构。
Impala与Hive的比较
mic_hero的专栏
01-18 769
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase
黑猴子的家：Kylin 快速入门之Hive 和 Kylin 性能对比
黑猴子的博客
02-07 1913
1、Hive查询 hive> select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname; Query ID = yinggu_20200206182830_de4886e0-02c9-4286-9eab-c9051f2680bc Total jobs = 1 Execu...
Druid/Impala/Presto/Spark SQL/Kylin/Elasticsearch功能对比
Knight
08-07 1613
Druid Druid:是一个实时处理时序数据的OLAP数据库，因为它的索引首先按照时间分片，查询的时候也是按照时间―去路由索引。 Kylin kylin:核心是Cube，Cube是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。 Presto Presto:它没有使用MapReduce，大部分场景下比Hive快一个数量级，其中的关键是所有的处理都在内存中完成。 lmpala lmpala:基于内存运算，速度快，支持的数据源没有Presto多。 Spark SQL.
Kylin 快速入门 （三）Hive 和 Kylin的性能对比
weixin_45417821的博客
01-26 1555
文章目录Hive 和 Kylin 性能对比HiveKylin 查询 Hive 和 Kylin 性能对比 需求：根据部门名称[dname]统计员工薪资总数[sum（sal）] SQL ： select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname; Hive hive (kylin_test)> select dname,sum(sal) from emp e join dept d on e.d
【转载】一套数据，多个引擎--impala、hive、kylin
无人境域
04-26 1013
原文地址：https://jiezhu2007.iteye.com/blog/2153589 详细内容请点击链接。 伴随着大数据存储与分析处理软件架构的演变，大数据处理这个概念的数据量范围将不断延展。尤其是智能技术在自学习上对数据的应用，速度与数据量将不段快速迭代演化，大数据技能将是软件研发人员的基本功之一了。 ...
是选impala还是presto_Kylin、druid、presto、impala四种即席查询对比
weixin_35130354的博客
12-24 1232
一、什么是即席查询即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件理解：快速的执行自定义SQL(可能无法提前运算和预测)重点关注：数据存储格式和架构理解了什么是即席查询之后，下面会从定义、框架原理、优化等几个方面介绍这四个框架、最后会做一个对比，面对不同的业务选择合适的框架二、Kylin1、定义：Apa...
Apache Kylin与Impala：深入比较与应用场景分析
最新发布
2402_85758936的博客
07-03 932
是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口和多维数据分析（OLAP）能力。它通过预计算技术，将查询结果存储在立方体模型中，从而加快查询速度。Impala：是一个高性能、实时的SQL查询引擎，用于在Hadoop集群上执行低延迟的查询。
深度解析：Hive、HBase、Kylin、ClickHouse在数据仓库的应用
Kylin通过预计算和压缩技术大大提高了查询性能，并且与Hadoop生态系统中的其他组件如Hive、Impala、Spark等紧密集成。 最后，我们来看ClickHouse。ClickHouse是一个用于联机分析处理（OLAP）的列式数据库管理系统...
一套数据，多种引擎（impala/Hive/kylin）
人生重要的不是所站的位置，而是所朝的方向。
11-07 1082
  以前写过一篇文档讨论MPP DB的发展，《MPP DB 是大数据实时分析系统未来的选择吗？》，当时主要是想讨论下Greenplum数据库是否合适做数据存储，以及实时查询。文章我主要提的MPP DB短板是扩展性和对并发的支持，从目前Pivotal公司主推的HAWK，已经可以清楚的看到，业界主流的思路是SQL onhadoop，用传统引擎的高性能加上hadoop 存储的鲁棒性，来构建大数据实...
13.2 kylin的初步使用对比hive,impala
kk25114的博客
08-02 1188
1.执行官方的demo 导入数据 [root@mini2 bin]# ./sample.sh Retrieving hadoop conf dir... Loading sample data into HDFS tmp path: /tmp/kylin/sample_cube/data Going to create sample tables in hive to database ...
Impala的优缺点
weixin_34400525的博客
04-29 637
   　　不多说，上干货！     优点： 支持SQL查询，快速查询大数据。 可以对已有数据进行查询，减少数据的加载，转换。 多种存储格式可以选择（Parquet, Text, Avro, RCFile, SequeenceFile）。 可以与Hive配合使用。       缺点： 不支持用户定义函数UDF。 不支持text域的全文搜索。 不支持Trans...
impala理论篇之七：impala、hive、hbase对比（主要是impala vs hive）
Allenzyg的博客
06-03 2207
1. 什么是实时分析（在线查询）系统？ 大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点： a. 时延低（秒级别）。 b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。 c. 查询范围大（通常查询表记录在几十亿级别）。 d. 返回结果数小（几十条甚至几千条）。 e. 并发数要求高（几百上千同时并发）。 f. 支持SQL（这个业界基本上达成共识了，原因是很难找到一个又会数据分析，还能写JA
大数据介绍（一）
qq_41934990的博客
06-09 5848
这是本人整理的一些关于大数据的知识，总分为三个方面，第一方面主要在于理论和理解，后面的方面在于操作和补充；希望对想学大数据的你有点帮助第一方面：大数据离线分析 一般处理T+1数据 Hadoop 2.X：（common、HDFS、MapReduce、YARN）  Hadoop并不是什么数据库，也不是程序库，甚至不是一个独立产品。实际上，Hadoop是一些独立模块的组合，包括一个分布式文件系统H...
impala 和hive查询性能简单对比
SDKLHKJAS的博客
08-22 1711
Sqoop 一亿级数据导入测试 用SQOOP从oracel 中把数据倒入到hive中做测试 首先表是这样的 服务器资源 Sqoop 导入脚本 sqoop import --hive-import \ --connect jdbc:oracle:thin:@10.32.3.4:1521...
Hive优化（提高hive运行速度）
徐磊的博客
02-18 1万+
一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行） 将hive的job交给yarn执行太慢，hive支持本地模式 設置本地模式之前的，耗時 9.068 設置本地模式之后的，耗時 0.29 设置hive基于本地模式的方法 1、设置临时的 在每次执行hql语句之前 都要先执行下面这句话 set hive.exec.mode.local.auto...
Presto、Impala性能比较
热门推荐
高矮
01-22 2万+
下面是Presto、Impala这两种典型的内存数据库的简单测试比较，当然这种内存数据库类似的还有spark sql,这种数据库在大数据量，多表关联查询时，会展现出自己的优势，下面是一组impala和presto的性能对比图： 环境准备：1台32G内存、2台16G内存，没有完全把内存配置饱和 测试数据：hive中3张2000W数据量的表 集群：impala和presro部署在3台机器上
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值