碣石观海的博客

一、自定义简单标准函数（UDF）1.定义： 标准函数：指一行的一列或多列作为参数传入，返回单一值的函数。 如：to_date(string timestamp)，sqrt(double a)，concat(string a,string b)等。2.实现自定义concat： 功能：用于将两个输入参数连接起来。 两个重载函数：myconcat(strin...

参考文章（先收藏）：1.元数据表字段详细注释：Hive学习之路 （三）Hive元数据信息对应MySQL数据库表2.元数据表关联查询语句：hive元数据库表分析及操作一、查询汇总：1.查询元数据表字段描述信息--查询元数据表字段描述信息select t.TBL_NAME ,c.COLUMN_NAME ,c.TYPE_NAME ,c.C...

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来一、select...from语句--支持列和表的别名，支持嵌套，限行> select l.name ln, r.course rc> from (select id, name from left) l> join (select id, course from righ...

----本文笔记整理自 《Hive编程指南》13.10 用户自定义表生成函数 《Hadoop海量数据处理：技术详解与项目实战》范东来 第6章 6.7.3 UDTF一、自定义表生成函数（MyExplode实现）1.表生成函数：指0个或多个输入，产生多列或多行输出，如：explode(Array a)，例如：> se...

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来一、数据导入1.1.装载数据--将HDFS文件中数据 追加 导入Hive表> use test; --切换为test数据库> load data inpath '/user/hadoop/data' into table test;--导入表test> load ...

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来HQL数据定义1.数据库database操作--创建数据库> create database test;> create database if not exists test;--查看已存在的数据库> show databases;--注：数据库在HDFS中的目...

----本文笔记整理自 《Hive编程指南》13.9 用户自定义聚合函数一、自定义聚合函数（GenericUDAFAverage实现）1.聚合函数：指0行到多行的0个到多个列作为参数输入，返回单一值的函数，经常和group by子句一起用。 如：sum(col)，avg(col)，max(col)，std(col)等。2.实现通用的自定义聚合函数 GenericUDAFA...

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来--本地启动hive$ hive--执行hql> select count(*) from test;--本地执行hql后立刻退出$ hive -e 'select count(*) from test'--本地执行hql后立刻退出，并去除附加信息和MR日志$ hive -S -...

目录1.ObjectInspector接口源码：2.ObjectInspector接口注释：3.ObjectInspector接口中Category：4.ObjectInspector接口中getTypeName()方法：5.ObjectInspector接口中getCategory()方法：6.工厂方法创建ObjectInspector实例：7.利用ObjectIn...

本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来，更正了原书中的一些细节处的问题。一、安装元数据库MySQLHive的元数据和数据是分开存放的，数据存放在HDFS上，而元数据默认是存放在Hive自带的Derby数据库，但由于Derby只支持同时一个用户访问Hive，所以不推荐使用。我们将使用MySQL作为Hive的元数据库。1.安装MySQL数据库：maste...