qq_34748569的博客

datax parquet hdfswriter 背景 为什么我要开发这个工具呢？我之前安装的cdh集群版本是5.14，里面的impala支持parquet,不支持orc，但是偏偏呀，datax不支持直接写到hdfs的parquet。虽说datax和impala同时还支持txt格式，但是查询速度比较慢，问了很多，见别人有开发datax parquet reader的，就是没有writer，于是就...

本项目源码地址 https://github.com/sunyaf/bitmapudf 本项目主要是将hive udf 、roaringbitmap 、hbase集成到一起 打包方法 mvn clean package 然后将target下jar包上传到hdfs指定目录，以方便创建udf函数，或者您也可以直接上传到服务器，通过add jar命令创建udf函数。 本人上传到了/utils/hiveU...

概述本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2X，适用于Hadoop 2.6.0, Hadoop 2.7.4 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在 CentOS 中安装并运行 Hadoop。环境准备在装好了centos以后还有一些环境需要准备一下，下面一一列举创建hadoop用户 su 输入密码 useradd hadoo