hadoop初识之一-sql on hadoop的框架

最新推荐文章于 2025-02-21 16:31:34 发布
最新推荐文章于 2025-02-21 16:31:34 发布
阅读量325 收藏 1
点赞数
分类专栏： 大数据-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nipanlong001/article/details/75269089
版权
本文介绍了几种在Hadoop上进行SQL查询的技术方案，包括Hive、Presto、Impala、Phoneix和SparkSQL等，这些工具使得在Hadoop上进行结构化数据处理更加便捷高效。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SQL on hadoop
    1.Hive
2.Prestore
3.Impala 类似于Hive，但是是在内存中处理数据
4.Phoneix（基于HBase）
5.Spark SQL
HAWQ ——功能强大的SQL-on-Hadoop引擎
杨鑫newlife的专栏
07-05 2914
HAWQ ——功能强大的SQL-on-Hadoop引擎
8个值得关注的SQL-on-Hadoop框架
IT时代周刊
05-16 314
数据的操作语言是SQL，因此很多工具的开发目标自然就是能够在Hadoop上使用SQL。这些工具有些只是在MapReduce之上做了简单的包装，有些则是在HDFS之上实现了完整的数据仓库，而有些则介于这两者之间。这样的工具有很多，来自于Shoutlet的软件开发工程师Matthew Rathbone最近发表了一篇文章，他列举了一些常用的工具并对各个工具的应用场景和未来进行了分析。 Apache H...
SQL On Hadoop框架了解
淡定一生2333的博客
05-04 1190
本文主要是对最近了解的一些SQLOn Hadoop的框架做一个简单的总结。虽然现在NoSQL伴随着大数据应用崛起，但是SQL仍然是最受欢迎的操作手段，比如Spark SQL，HiveSQL等等。 为什么要SQL On Hadoop： 最长使用的HDFS和HBase并不支持SQL，所以诞生了一大批SQLOnHadoop工具，这些工具有些是在MapReduce上做了包...
hadoop大数据原理与应用------初识Hadoop数据集
yuanbenshidiaos的博客
04-20 1218
这样，整个集群就可以协同工作，处理大数据集的计算和存储任务。在执行`start-dfs.sh`之前，需要确保Hadoop的配置文件已经正确设置，包括`hdfs-site.xml`、`core-site.xml`等，并且集群中的所有节点都能够相互通信。在这个例子中，`hadoop-master`、`hadoop-slave1`和`hadoop-slave2`是分配给各个节点的主机名，而`192.168.1.100`、`192.168.1.101`和`192.168.1.102`是这些节点的IP地址。
初识大数据--Hadoop大数据平台架构与实践
qq_43653657的博客
09-28 514
Hadoop大数据平台架构与实践 推荐书籍： ⭐大数据存储与处理技术的原理(理论) ⭐Hadoop的使用和开发能力(实践) 预备知识： Linux常用命令 Java基础编程 1、大数据相关概念 ​ 无处不在的大数据，科学数据、金融数据、零售数据、社交网络数据、交通数据、物联网数据等。 ​ 马云：“21世纪核心的竞争是数据的竞争。谁拥有更多数据，谁就拥有未来。” 初始Hadoop ​ 如何对...
大数据之 Hadoop 初识
ijwwio的博客
11-30 1865
Hadoop概述 Hadoop:一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。 Hadoop优势 (4高） 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 高有效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 高容错性：能够自动将失败的任务重新分配。 Hadoop组成 （面试重点） H
初识Hadoop 2.x.pdf
04-05
Hadoop 是一个能够处理海量数据的开源软件框架，它最初由Apache Lucene项目演化而来，旨在解决大规模数据处理的问题。Hadoop 2.x 版本相比早期版本有了显著的改进和增强，特别是在性能、稳定性和安全性方面。 - **...
小白零基础学习Hadoop2：初识Hadoop
最新发布
weixin_73297164的博客
02-21 491
Apache® Hadoop® 项目为。
hadoop Hive sql 总结
我心中有猛虎 细嗅蔷薇
02-22 725
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总
当Hadoop SQL工具与大数据框架携手同行
weixin_34356555的博客
07-05 119
目前，SQL-on-Hadoop的采用率仍然偏低，但是其发展似乎是与Hadoop本身的采用有着相似的步调。2015年由IT研究和教育机构TDWI进行的一项对新兴技术的调查证实了这一结论。 在320位受访者中只有16%的人表示他们所在的企业正在使用商业SQL-on-Hadoop引擎作为商业智能或分析应用程序的一部分； 344位受访者中有22%的人说Hado...
主流开源SQL（on Hadoop）总结
小宁哥博客
05-13 3176
 使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop” 也不适用，虽然Hive 和Impala 主要使用Hadoop，但是Spark、Drill、HAWQ 和Presto 还可以和各种其他的数据存储系统配合使...
开源SQL-on-Hadoop系统一览
weixin_33739646的博客
02-13 375
引言 查询分析是大数据要解决的核心问题之一，而SQL作为查询分析中使用最简单、最广泛的的语言之一，必然而然的催生了许多支持在Hadoop上使用SQL的系统，这就是所谓的SQL-on-Hadoop系统，其中大众熟知的Hive就是最早的SQL-on-Hadoop系统。 经过若干年的发展，SQL-on-Hadoop系统已经百花齐放，按照架构划分这些系统大致可以...
盘点SQL on Hadoop中用到的主要技术
笑看云飞处 - 专注于:互联网 电子商务 大数据 欢迎来访!
01-07 3829
盘点SQL on Hadoop中用到的主要技术 发表于1小时前|165次阅读| 来源github|0 条评论| 作者肥男爱肉 转载自：http://www.youkuaiyun.com/article/2015-01-06/2823450 HadoopSQL大数据架构 摘要：自打Hive出现之后，SQL on Hadoop相关的系统已经百花齐放，速度越来越快，功能也越来越齐全。本文不是要去
初识Hadoop（会飞的大象）
百年一梦
04-05 1188
SQL on Hadoop 1）Hive 2）Prestore 3）Impala 基于内存 4）Phoneix（基于HBase） 5）Spark SQL 1.Hadoop是什么？ 从Hadoop权威指南可以看出，Hadoop是用于对可扩展的网络数据的存储和分析。 Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大
大快大数据开发框架的构成模块
adnb34g的博客
05-07 839
大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的改变更为深刻。关注大数据或者是互联网方面新闻的人应该知道，大数据已经上升到了国家战略的高度。可以说这是时代发展的必然趋势，从国家战略层面推进大数据技术的普及与应用，一个至关重要且非常核心的问题——数据安全问题就非常突出。解决数据安全问题，必...
SQL数据库和Hadoop 区别
aa_moon的专栏
12-02 1万+
SQL（结构化查询语言）是针对结构化数据设计的，而Hadoop最初的许多应用针对的是文本这种非结构化数据。 主要区别如下： 1. 用向外扩展代替向上扩展 Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至数百台计算机。而不是专注于提高单台服务器的性能 2. 用键/值对代替关系表 SQL 针对结构化查询语句 是结构化数据，hadoop针对的是非结构化数据，文本形式 关系数据库是
HAWQ 取代传统数仓实践（一） —— 为什么选择 HAWQ
热门推荐
wzy0623的专栏
05-10 2万+
为了跟上所谓“大数据”技术的脚步，我从两年前开始着手实践各种 SQL-on-Hadoop 技术，从最初的 Hive，到 SparkSQL，再到 Impala，进行了一系列 ETL、CDC、多维数据仓库、OLAP 的实验。作为一名从业 20 年以上的 DBA，从数据库的角度看，我的总体感觉是这些技术与传统的 DBMS 相比，功能不完善，性能差距很大，甚至很难找到一个可行的、相对完备的 Hadoop 数据仓库解决方案。这使我在实际应用中使用这些产品的时候总是感到顾此失彼、捉襟见肘。
深入解析Hadoop 2.0：从初识到实战应用
- Hive：建立在Hadoop之上的数据仓库工具，提供类SQL查询语言HiveQL。 - HBase：一个可扩展的非关系型数据库，适用于随机读写大表。 - Oozie：一个用于管理Hadoop作业的工作流调度系统。 - Zookeeper：一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值