过往记忆大数据

引言在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。 功能性方面 完全兼容 SparkSQL 语法，可以实现用户从 SparkSQL 到 Presto 的无感迁移； 性能方面 实现 Join Reorder，Runtime Filter 等优化，在 TPCDS1T 数据集上性能相对社区版本提升 80.5%； 稳定性方面 首先，实现了多 Coordinator 架构，解决了 Presto 集

作者:过往记忆 | 新浪微博：左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址：http://www.iteblog.com/文章标题：《Hadoop YARN中web服务的REST API介绍》本文链接：http://www.iteblog.com/archives/960Hadoop、Hive、Hbase、Flume等QQ交流群：13861535

作者:过往记忆 | 新浪微博：左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址：http://www.iteblog.com/文章标题：《Hive几种数据导入方式》本文链接：http://www.iteblog.com/archives/949Hadoop、Hive、Hbase、Flume等QQ交流群：138615359　　hadoop更新实在是太快

作者:过往记忆 | 新浪微博：左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址：http://www.iteblog.com/文章标题：《Flume-0.9.4和Hbase-0.96整合(2)》本文链接：http://www.iteblog.com/archives/916Hadoop、Hive、Hbase、Flume等QQ交流群：138615359

作者:过往记忆 | 新浪微博：左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址:http://www.iteblog.com/文章标题:《Flume-0.9.4和Hbase-0.96整合(1)》本文链接:http://www.iteblog.com/archives/915Hadoop、Hive、Hbase、Flume等QQ交流群：138615359

作者:过往记忆 | 新浪微博：左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址：http://www.iteblog.com/文章标题：《Hive几种数据导入方式》本文链接：http://www.iteblog.com/archives/949Hadoop、Hive、Hbase、Flume等QQ交流群：138615359　　写在前面的话，学Hive这

在本博客的《Flume-1.4.0和Hbase-0.96.0整合》我们已经学习了如何使用Flume-1.4.0和Hbase-0.96.0进行整合。我们可以很容易的配置Hbase sink，并和最新版的Hbase整合，但是由于项目的特殊情况，我需要将Flume-0.9.4和Hbase-0.96整合，搞过这个的人应该知道，Flume-0.9.4和Hbase-0.96非常棘手，各种版本的不兼容等情况，最

写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。http://www.iteblog.com/archives/tag/hive的那些事　　这些天看到很多人在使用Hive的过程遇到这样或那样的错

写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。http://www.iteblog.com/archives/tag/hive的那些事　　Hive的内置数据类型可以分为两大类：(1)、基础数据

写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。　　如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下：01020304050607080910111

写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。　　Hive的数据分为表数据和元数据，表数据是Hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。　　主要在两方面影响了HDFS的可用性：　　（1）、在不可预测的情况下，如果NN所在的机器崩溃了，整个集群将无法利用，直到

写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。　　前提条件：安装好相应版本的Hadoop(可以参见《在Fedora上部署Hadoop2.2.0伪分布式平台》)、安装好JDK1.6或以上版本（可