- 博客(9)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 JDK1.8u162以及JDK1.8所有历史版本官网下载地址
很多网友想看JDK1.8里面所有的版本，今天我就给大家带来了所以JDK1.8版本的官方下载地址，其中包括Windows版本和Linux版本JDK1.8所有版本官网下载链接https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html比如这里以jdk1.8u162为例...
2019-07-25 14:38:12
70447
6
原创 如何在impala中修改parquet表的字段类型以及修复过程
一、需求场景众所周知impala和hive是共用一天元数据。因为前期设计impala外部表的时候考虑不足，某些字段设置成int类型，但是随着业务增长数值已经超过了int的最大值，不能满足业务需求，所以要对某些int类型的字段进行修改字段类型为string。但是parquert在存储上，做了加密，二级制存储压缩，因为Impala对Parquet文件中列的顺序很敏感，所以在表的列定义与Parque...
2019-11-22 18:22:17
8561
原创 浅谈Hive的动态分区以及Impala的动态分区
一、需求场景：当你有一张hive表，里面也有一个字段是时间字段，每天的数据是按这个时间字段导入进去的，这时候你就需要有动态分区这个东西了。分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围，从而提高速度。分区分为两种：静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判...
2019-11-22 17:40:16
2708
原创 DBeaver连接ClickHouse实操
1.从DBeaver官网下载安装包并点击下一步下一步安装 https://dbeaver.io/download/2.在DBeaver中创建新链接，选择ClickHouse3.填写ClickHouse所在机器的ip地址和用户名密码即可，其他URL自动会填写4.点击测试链接按钮，在弹出来的地方选择 下载按钮，等它全部下载完驱动后即可测试连接5.点击测试...
2019-08-02 15:26:43
16982
1
原创 很多网友想看CDH集群中安装Presto版本选择以及踩过的巨坑
Presto安装版本选择以及所必须要求的JDK版本踩过的坑1.很多网友想看如何在CDH集群中安装Presto，今天我给大家带来了在CDH5.14.2中安装Presto的全程记录实操文档官网文档地址:https://prestodb.github.io/docs/current/release.html官网GitHub地址:https://github.com/prestodb/pres...
2019-07-25 15:47:17
3428
2
原创 关于impala2.x版本不支持orc格式的官网说明
有时候在hive中想使用orc格式的表，但是impala查询却不支持，查看cloudera官网后发现确实说明了cloudera官网地址：https://www.cloudera.com/documentation/enterprise/5-14-x/topics/impala_file_formats.html直接搜索orc即可找到但是在cdh6.1.x后版本中也就是impala3...
2019-07-04 18:14:03
3572
1
原创 idea中使用自带maven打包package，install，deploy的时候报错
在install成功iql-common后，同时iql-web和iql-engine这两个刚才中引用到了iql-common包，打包iql-web和iql-engine的时候，出现了如下错误："C:\Program Files\Java\jdk1.8.0_161\bin\java" -Dmaven.multiModuleProjectDirectory=D:\ideatest\IQL\i...
2018-11-21 10:47:25
6381
1
原创 [函数]Hive "行转列"和"列转行"
在Hive实际开发过程中，我们会遇到“行转列”和“列转行”的场景。比如：1、 需要取“订单号”对应的所有商品“SKU号”，商品“sku号”放在一列，即从table1查询出table2；2、 当商品“sku号”均在一列的时候，需要查询每个“sku号”对应的“订单号”，即从table2查询出table1。实现方法：1、从table1查询出table2：SELECTsale_ord_id,conca...
2018-05-11 14:15:01
859
转载 Impala表导入kudu时遇到的问题
今天在hue上执行数据的重新导入：1、删除原先的kudu表：drop table events_tab_2;2、需要在impala里创建kudu新表：CREATE TABLE events_tab_2( user_id STRING , item_id STRING , create_time BIGINT , col_1 STRING , col_12 STRING , ...
2018-04-20 14:26:16
2813
flume中的FileChannel的优化
2018-04-20
软件测试技术研究，软件测试的起源、软件测试的各种技术
2009-07-01
第4章_计算机局域网
2009-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人