Elena_qi的博客

算法

算法

算法

算法

算法

算法

算法

算法

算法

算法基础

算法基础

flink

实现 Compact table command要求： 添加 compact table 命令，用于合并小文件，例如表 test1 总共有 50000 个文件，每个 1MB，通过该命令，合成为 500 个文件，每个约 100MB。 语法： COMPACT TABLE table_identify [partitionSpec] [INTO fileNum FILES]； 说明：基本要求是完成以下功能：COMPACT TABLE test1 INTO 500 FILES； 如果添加 parti

目的：简单hive SQL 实践数据数据解释t_user 观众表（6000+ 条数据）字段为：UserID, Sex, Age, Occupation, Zipcode 字段中文解释：用户 id，性别，年龄，职业，邮编 t_movie 电影表（共 3000+ 条数据）字段为：MovieID, MovieName, MovieType 字段中文解释：电影 ID，电影名，电影类型 t_rating 影评表（100 万 + 条数据）字段为：UserID, MovieID

背景：hive 中使用 left join 时，是否可以在 on 条件中中加入限制条件。结论：不可以，但是在inner join 中是可以的。create table test.test_no_part (id int ,name string);insert overwrite table test.test_no_part VALUES (1,'a'),(2,'b'),(3,'c');create table test.test_no_part_b (id int ,name stri

目的：预将hive中 null 与empty string 统一，便捷后续开发问题：orc 文件 使用SET SERDEPROPERTIES('serialization.null.format' = '') 失效解决方案：探索 null 再各个file_format 的存储方式RCFile（一）原始状态create table test.rcfile (id int ,name string) STORED AS rcfile;show create table test....

目的：预将hive中 null 与empty string 统一，便捷后续开发问题：orc 文件 使用SET SERDEPROPERTIES('serialization.null.format' = '') 失效解决方案：探索 null 再各个file_format 的存储方式

目的：预将hive中 null 与empty string 统一，便捷后续开发问题：orc 文件 使用 SET SERDEPROPERTIES('serialization.null.format' = '') 失效解决方案：探索 null 再各个file_format 的存储方式RCFile（一）原始状态...

Row_number 是hive常用的窗口函数之一，目的：分组排序。场景：order by value， value 值重复执行行，连续两次使用 row_number ，结果会不如所愿。

目的：预将hive中 null 与empty string 统一，便捷后续开发问题：orc 文件 使用 SET SERDEPROPERTIES('serialization.null.format' = '') 失效解决方案