Inkbamboo专栏

版本:cdh6.3.2flink版本:1.13.2cdh hive版本:2.1.1报错信息:java.lang.NoSuchMethodError: org.apache.parquet.hadoop.ParquetWriter$Builder.<init>(Lorg/apache/parquet/io/OutputFile;)V at org.apache.flink.formats.parquet.row.ParquetRowDataBuilder.<init>(Par

转载自：http://blog.youkuaiyun.com/yeruby/article/details/51448188简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Sp

1.  Spark连接hbase//后续更多细节补充，现在还不太懂。      如有大神看到请不吝赐教Spark连接hbase的步骤：1.      构建sparkconf配置信息，设置spark主机位置，设置程序名称，资源数等2.      构建sparkcontext3.      构建Sqlcontext4.      通过sqlcontext操作构建RDD5.

转载自：http://www.36dsj.com/archives/60604Apache Hive2.0的新特性介绍 雪姬 2016-09-07 9:24:15 Hadoop 评论(0)Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它为数据仓库的管理提供了许多功能：数据 ETL （抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。

为分区表动态添加分区的语法：insert overwrite table t_sz_part partition(country) --指定t_sz_part是按照那个列分区的，select se.id,se.name,se.name --需要插入的列的信息，以及第二个se.name 为匹配t_sz_

转载自：论坛一位大神要了解列式数据库的本质，我觉得先从逻辑视角和物理视角来区分一些概念比较好，比如DBMS从逻辑视角来看， 可以分为1）Relative Database Management System2）Non-Relative Database Management System而从物理（存储的）视角来看，则可以分为：1）Row Based

转载自：http://dacoolbaby.iteye.com/blog/1826307无论做什么数据，都离不开日期函数的使用。这里转载一下Hive的日期函数的使用，写的相当完整。 日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, string format]) 返回值