Clozzz的博客

导入数据忽略首行字段名称：create external table highschool(geographic_area string,city string,percent_completed_hs string)row format delimited fields terminated by ','stored as textfile location '/iii/HighSchool'tblproperties("skip.header.line.count"="1")HBa

Hive装载数据方式装载数据：LOAD移动数据装载数据：INSERT表插入数据-1装载数据：INSERT表插入数据-2Hive数据插入文件Hive数据交换 - IMPORT/EXPORT装载数据：LOAD移动数据原始数据被移动到目标表/分区，不再存在于原始位置LOCAL：指定文件位于本地文件系统 ；OVERWRITE表示覆盖现有数据使用方法：LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/employee.txt' OVERWRITE INTO T

在创建表进行数据清洗的过程中 csv表格字段中可能存在csv表格的分割符号 ，如图此时如果还是按照原来的写法：%hivecreate external table if not exists ext_transaction_details(transaction_id string,customer_id string,store_id string,price string,product string,`date` string,time string)row format s

概述： UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF。 Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。UDF类型：Hive中有三种UDF：UDF：操作单个数据行，产生单个数据行；UDAF：操作多个数据行，产生一个数据行；UDTF：操作一个数据行，产生多个数据行一个表作为输出；如何构建UD

MySql行转列将图1做成图2的效果图1：图2：创建数据表：CREATE TABLE `TEST_TB_GRADE` ( `ID` int(10) NOT NULL AUTO_INCREMENT, `USER_NAME` varchar(20) DEFAULT NULL, `COURSE` varchar(20) DEFAULT NULL, `SCORE` float DEFAULT '0', PRIMARY KEY (`ID`)) ;导入数据：insert in

总述：Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。目录总述：-数学函数-集合函数-类型转换函数-日期函数-条件函数-字符函数-聚合函数-表生成函数-数学函数select round(2.14158,3) 2.142 保留3位小数，四舍五入select floor(2.4158) 2 向下取整select ceil(2.656) 3 向上取整select ran

1、下载安装包自取：https://pan.baidu.com/s/1xqC2Tko_opC_b6Hn1VCazg提取码：uywm2、上传到Linux系统并解压tar -zxf zeppelin-0.8.1-bin-all.tgz//个人习惯把软件放在soft文件夹里，如果没有请自建，然后将软件放到soft文件夹里mv zeppelin-0.8.1-bin-all /opt/soft/zeppelin0813、修改配置文件//进入配置文件目录cd /opt/soft/zeppelin08

首先在安装HIVE之前要安装Hadoop和Zookeeper，Hadoop的安装方法在我之前的博客里有，有需要的可以去看一下的。地址：https://blog.youkuaiyun.com/Clozzz/article/details/106476785安装Zookeeper首先下载Zookeeper安装压缩包自取：https://pan.baidu.com/s/1ZHtPyPS9XODT8sL16DpiVg提取码：8ase1.下载完成后上传到Linux系统上的opt文件夹下。2.解压该压缩包tar -

什么是HIVE？1、基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供类sql的查询语言HQL（Hive Query Language）Hive让更多的人使用Hadoop2、Hive成为Apache顶级项目HIve始于2007年的Facebook官网：hive.apache.orgHIVE的优势和特点1、提供了一个简单的优化模型2、HQL类SQL语法，简化MR开发3、支持在不同的计算框架上运行4、支持在HDFS和HBase上临时查询数据5、支持用户自定义函数、格

HIVE分区（partitions）分区主要用于提高性能分区列的值将表划分为很多segments（文件夹）查询时使用分区列和常规列类似查询时HIVE自动过滤不用与提高性能的分区分区主要分为静态分区和动态分区HIVE分区操作静态分区：create table mypart( userid int, username string, gender string, score int )partitioned by (year int,month int)//如何分割列（字段）r