行走的树

SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。

1、tez参数2、spark参数3、spark小文件解决思路：

1、问题描述：Java Maven项目中调用Scala类GpsParserNew，编译是出现错误Tuple11 tuple11 = com.vdian.utils.GpsParserNew$.MODULE$.getAddressWithTownVillage(res);报错：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on pr

1、报错信息：# FAILED: SemanticException [Error 10014]: Line 2:22 Wrong arguments '"蔡徐坤asda EXO"': org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public static java.lang.String GetStarKeyWord.evaluate(java.lang.String) on

hive - udf - regexp_extract - 使用注意点hive函数：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1、匹配不上返回的是 ‘’ 空，而非null

安装完的MySQL的默认字符集为 latin1 ，为了要将其字符集改为用户所需要的(比如utf8)，就必须改其相关的配置文件；由于linux下MySQL的默认安装目录分布在不同的文件下；不像windows一样放在同一目录下，只需修改其中的my.ini文件，重起后就生效了；所以先来看看linux下MySQL的数据库文件、配置文件和命令文件分别在不同的目录 ： 1、数据库目录，其所创建的数据库文件都在...

创建数据表时我们经验会添加一些中文注释到表里面方便识别，最近在测试hive的时候，发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码，如下：解压思路：1、查看存放Hive元数据信息的数据库表字符集；是否因为字符集问题可以看出，由于表使用的是默认的latin1字符集，所以中文显示不出来，应该使用utf8；但是很奇怪，我整个Mysql都是使用utf8的字符集；所以这个与Mysql的配置...

hive中提供了两种针对json数据格式解析的函数，即get_json_object（…）与json_tuple(…)，理论不多说，直接上效果示意图：假设存在如下json数据对象，若使用hive环境可这么设置：set hivevar:msg={"message":"2015/12/08 09:14:4", "client": "10.108.24.253", "server": "passp.

配置完成Mysql存储元数据信息，启动异常：Caused by: MetaException(message:Version information not found in metastore.Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiat

hive表的源文件存储格式有几类：1、TEXTFILE 默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoop fs -cat 查看2、SEQUENCEFILE 一种Hadoop API提供的二进制文件，使用方便、可分割、可压缩等特点。 SEQUENCEFILE将数据以< key,value>的形式序列化到文件中。序列化和反序

当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。桶表抽样的语法如下：table_sample: TABLESAMPLE (BUCKET x OUT

Hive生产脚本常用参数设置[合并小文件，压缩文件，动态分区，数据倾斜...]

UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。

package com.adtime.udf.main;/** * User:leen * Date:2017/3/24 0024 * Time:9:10 */import java.text.SimpleDateFormat;import java.util.Date;import java.util.Locale;import org.apache.commons.la

UDF：日期加减

hive.execution.engine 默认值：mr 添加时间：Hive 0.13.0 with HIVE-6103 and HIVE-6098 — 选择执行引擎。选项: mr (Map reduce, 默认值)、tez ( Hadoop 2 only)、or spark (Hive 1.1.0 版本及之后)。 mapred.reduce.tasks 默认值：-1

这里面列出了hive几乎所有的配置项，下面问题只是说出了几种配置项目的作用。更多内容，可以查看内容问题导读：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hive中还是hadoop中？4.一个查询的最后一个map/reduce任务输出是否被压缩的标志，通过哪个配置项？5.当用户自定义了UDF或者SerDe，这些插件的jar都要放到这个目录

在Hive中，common join是很慢的，如果我们是一张大表关联多张小表，可以使用mapjoin加快速度。 mapjoin主要有以下参数：hive.auto.convert.join ： 是否自动转换为mapjoinhive.mapjoin.smalltable.filesize : 小表的最大文件大小，默认为25000000，即25Mhive.auto.convert.join.noco

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式 举例：Hive> select from_unixtime(1483000631,'yyy