简单的心的博客

最近在Hadoop集群中要添加一些Hive表来解析Json。因为Json的内容太长，选择外部表创建语句格式如下：create external table if not exists TABLENAME（ 字段A string, 字段B string, 字段C struct< 字段D:string,字段E:struct&lt...

1.下载hive-1.2.1安装包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz2.将安装包传到集群所有节点上3.所有节点root用户下 cd /opt/cloudera/parcels/CDH/lib/hivemkdir lib1214.所有节点解压 apache-hi...

https://blog.youkuaiyun.com/qq_36864672/article/details/81868824步骤见上面这位博主的博客我稍微补充一下，在使用时走过的弯路在CDH的Hive的配置界面有这些类别，每个都有给一个高级选项，一开始没有注意找错了。是这个，加上配置属性后，先部署客户端再重启再重新进入hive shell界面。...

1.背景公司的生产环境是hadoop2.5.0-cdh5.3.9，因为业务数据增长的原因，Hive MapReduce的查询速度不令人满意了，想要更换为计算引擎Tez。2.编译在当前日期的Tez官网上没有对应Hadoop版本编译好的bin压缩包。需要下载src包进行编译，Hadoop2.5.0在查找多个Tez版本后发现0.5.4版本的Tez对应Hadoop版本为2.4.0，因为向下兼容...

CLOB字段从Oracle导入到Hive时，如果CLOB中有换行符Sqoop import参数选项 --hive-drop-import-delims对CLOB中换行符是没有效果的需要显示添加--map-column-java CLOB列名=String这样--hive-drop-import-delims 才能去除CLOB中的换行符。参考文章https://stackover...

生产环境使用的时Sqoop从Oracle抽数经历过错行----去掉一些特殊字符解决大字段错行----https://blog.youkuaiyun.com/u012422198/article/details/84662691长数字数据重复，特别是金融数据的各种号，长长的一串当Hive上数据处理时，去重发现Hive比Oracle数据少很多。因为Hive默认的长数字显示为科学技术法，把字...

之前公司业务提出需求要对Hive进行权限控制hive版本1.2.1，升级过一次。1.HUE 中添加用户 bigdata 给与hive访问权限新建一个用户组bigdata,将bigdata从default组移动到bigdata组。2.所有节点root用户登录useradd bigdatapasswd bigdatagpasswd -a bigdata hadoop添...

公司最近Hadoop集群和其他服务机器复用严重，提供了新机器，想将Hadoop集群迁出。Hadoop使用的CDH集成环境，从CDH5.3跨越到CDH6.2之前在CDH5.3上将hive从0.13升级到1.2.1。然后做了hive权限控制详情见https://blog.youkuaiyun.com/u012422198/article/details/94434445想在CDH6.2中同样来一套...