- 博客(8)
- 收藏
- 关注
RSS订阅原创 MapJoin
b.每个Mapper从Distributed Cache读取HashTableFiles到内存中,在Map阶段直接进行Join,此时的map数由大表的数据量决定。2.hive.mapjoin.smalltable.filesize 默认值为2500000(25M),通过配置该。1.hive.auto.convert.join=true (default :true)，自动开启mapjoin优化。属性来确定使用该优化的表的大小，如果表的大小小于此值就会被加载进内存中。
2023-01-13 17:37:58
349
原创 Hive1迁移数据到Hive3
strategy 选择复制策略，默认值uniformsize，每个map复制的文件总大小均衡；-p 保留源文件状态（rbugpcaxt）（复制，块大小，用户，组，权限，校验和类型，ACL，XATTR，时 间戳）-update 如果目标文件的名称和大小与源文件不同，则覆盖；
2023-01-12 14:29:13
331
原创 Hive skew join
Hive在reduce的过程中会将相同的key放入同一个reduce处理，当某个key的数据量过大时就会发生数据倾斜。
2022-12-30 17:41:54
1367
原创 Linux命令
Linux命令 查看目录：ls 查看目录的详细信息：ll 创建目录test: mkdir test 进入目录test: cd test/ 删除空目录test：rmdir test 返回上一级目录：cd .. 查看日志：more xxx.log 实时查看日志：tail -f xxx.log 删除文件（不能删除文件夹）： rm -f（不提示直接删除） rm - i（提示是否确认删除） .........
2022-06-17 00:16:42
165
1
原创 DBLink
DBLink是Oracle之间跨库连接的一种方式，在数据库A中创建连接到数据库B的DBLink，可以在数据库A中远程访问数据库B的数据。 1. 查询有哪些DBLink的权限 select * from user_sys_privs where privilege like upper'%link%'; 2.在数据库A中创建连接到数据库B的DBLink create database ...
2020-01-01 21:36:05
392
原创 行转列，多行转一行
行转列 customer fruit unit David apple 5 David bananas 8 Mark apple 3 Mark oranges 4 方法一：pivot select customer,apple,bananas from (select customer,fruit,u...
2019-08-18 22:37:36
216
原创 Grouping Sets
select country,province,city,sum(amount) from table1 group by grouping sets（country,(country,province),(country,province,city)） 等价于: select country,null as province,null as city,sum(amount) from ta...
2019-08-18 21:05:43
377
原创 数据库语言分类
数据库语言分为DML、DDL、DCL三大类。 DML（Data Manipulation Language)数据操纵语言，记录级别： SELECT、UPDATE、INSERT、DELETE DDL（Data Definition Language) 数据定义语言，表级别： CREATE、ALTER、DROP、TRUNCATE DCL（Data Control L...
2019-07-23 23:19:51
1118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人