weixin_45607513的博客

概述 UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。目前Hive除去一些内置的函数以外，还提供了一些内置的函数的扩扎接口： UDF：针对单行数据操作，需要继承UDF UDTF:操作一个数据行，产生多个数据行或者是多个列，需要用户继承GenericUDTF 引依赖 <depe...

首先需要启动HDFS、zk、yarn、Hbase。 habse clean --cleanAll //清除zookeeper的信息 创建表 需要在Hbase中先创建"baizhi:t_employee" create external table t_employee_hbase(empno INT, ename STRING, job STRING, mgr IN...

数据信息 0: jdbc:hive2://Hbase:10000> select empno,ename,sal,deptno from t_employee; +--------+---------+-------+---------+--+ | empno | ename | sal | deptno | +--------+---------+-------+-------...

数据准备 数据下载链接： https://github.com/qianhonglinIT/HiveMovieCaseStudy 在数据库中创建3张表，t_user，t_movie，t_rating create table t_user( userid bigint, sex string, age int, occupation string, zipcode string) row for...

行转列 数据准备 1,语文,100 1,数学,100 1,英语,100 2,数学,79 2,语文,80 2,英语,100 CREATE TABLE t_student( id INT, course STRING, score double) row format delimited fields terminated by ',' collection items te...

数据 员工数据 7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,20 7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30 7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30 7566,JONES,MANAGER,7839,198...

加载文件数据到表中 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] load data local inpath "/root/baizhi/t_employee" overwrite into table t_e...

DDL DataBase 1.查看数据库 0: jdbc:hive2://Hbase:10000> show databases; +----------------+--+ | database_name | +----------------+--+ | default | | test | +----------------+--+ 2 rows s...

Hive的安装 由于hive需要存储一些一些建表的元数据信息，因此在生产环境下安装Hive需要事先安装MySQL数据库服务（注意：MySQL数据库的编码必须是Latin1编码）。其次Hive是构建在Hadoop存储和计算之上的工具，因此还需要在配置和安装hive之前保证Hadoop的hdfs和MapReduce正常运行。最后Hive的安装主机上必须配置HADOOP_HOME环境变量，这样Hive可...

概述 1.什么是Hive Hive是建立在Hadoop上的数据仓库基础架构。可以将结构化的数据映射为一张数据库表，并提供类SQL查询功能。 详解 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查...