qq_43742212的博客

周末在更新

导出parquet输出文件 1、在mysql创建10张表，并且导入数据 2、在hive中创建10张表（注意表是否分区） 3、使用kettle把mysql的数据导入到hive中 使用到的组件 表输入、 字段选择、 parquet output 流程图 1、表输入配置 2、字段选择 注意：字段选择的字段顺序和字段类型要和创建的表一致 字段选择指定日期格式 3、Parquet output 注意...

1、 2、需要生成的字段 名 类型 示例值 中文名 date_key string 20000101 代理键 date_value string 2000-01-01 年-月-日 day_in_year string 1 当年的第几天 day_in_month string 1 当月的第几天 is_f...

1、多行转一行 自定义常量数据Integer 类型的id ，String类型的name id name 1 a 1 b 1 c 2 d 2 e 2 f 2、一列转多行 自定义常量数据Integer 类型的id ，String类型的name id name 1 a,b,c 2 e,g 第一步：转换图如下 第二步：部署数据和字段 设置自定义数据 列分隔符和新字段名 设置日志输出字段 最后运行...