日句灬的博客

HIVE udf和udtf功能使用 前言：之前在实习过程中，有一个业务需求，因为开始没有理解需求，所以走了很多弯路，最后修改代码逻辑的时候发现还有上游字段没有解析，需要些一个udtf来完成需求。之前虽然了解过udf和udtf等，但是没有实际写过，最后差点任务延期，所以在使用hive过程中，udf和udtf也应该作为数据开发人员的基本功，在实际开发过程中也是经常需要使用的。1、UDF：用户定义（普通）函数，只对单行数值产生作用；继承UDF类，添加方法evaluate()；注意：evaluate()方

Hive以下复习内容包括架构、与MySql数据库的比较、四种By、小数据问题、两种常见数据倾斜问题和讲解、Hive的简单优化；Hive的架构Hive都是用别人来存东西，自己一点都不存，只负责翻译HQL成MR程序；//客户端Client： CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）//Sql Parser和Physical Plan 把HQL语句翻译成对应的MR任务//元数据Meta Store