YINZONGCHAO的博客

1、下载需要的jar包，创建maven工程，配置相关的pom文件 2、编写java继承UDF类  方法名必须为evaluate（）      import java.util.List; import org.apache.hadoop.hive.ql.exec.UDF; import com.ecs.accounts.bean.ChargePartyBean; import com.e

 博客分类： hive Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b

本文将介绍 1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase 2、spark从hbase中读取数据并转化为RDD 操作方式为在eclipse本地运行spark连接到远程的hbase。 java版本：1.7.0 scala版本：2.10.4 zookeeper版本：3.4.5（禁用了hbase自