- 博客(10)
- 收藏
- 关注
RSS订阅原创 【无标题】
8.3.7 加载演员数据至演员维度表打开Kettle工具，创建转换，load_dim_actor，并添加“表输入”控件、“插入/更新”控件以及Hop跳连接线。配置“表输入”控件，点击“表输入”控件，进入“表输入”界面，，单击新建按钮，配置数据库连接，配置完成后单击“确认”按钮。在SQL框编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为1970-01-01, 00:00:00并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，
2021-11-22 19:00:10
193
原创 【无标题】
1、加载用户数据至用户维度表打开Kettle工具创建转换load_dim_customer，并添加“表输出”控件、“映射（子转换）”控价、“字段选择”控件、值映射控件、“维度查询/更新”控件，以及Hop跳连接线。配置“表输入”控件，进入“表输入”界面单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮。在SQL数据框中编写用于获取字段customer_last_update中的最大值，将该值替换成1970-01-01 00:00:00并赋值给临时字段max_dim_customer_la
2021-11-22 17:09:50
156
原创 【无标题】
1、加载日期数据至日期维度表打开Kettle工具创建转换load_dim_date，并添加“生成记录”控件、“增加序列”控件、“JavaScript代码”控件、“表输出”控件以及Hop跳连接线。配置“生成记录控件”，双击生成记录界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年日期（10*365）；在“字段”框添加字段language（语言），country_code（国家码），initial_date（初始化日期），对生成的日期进行初始化。配置“增加序列”控价，进入“增
2021-11-22 16:34:54
806
原创 2021-11-15
一.现有两张数据表，分别为full_source和fulltarget，其中full_source为源数据表，full_target为目标数据表，数据表Full_source和full_target，使用Kettle工具，实现将full_source中的数据全量加载到数据表full_target中。1.使用Kettle工具创建转换full_load，并添加“执行SQL脚本”控件，“表输入控件"，“表输出控件”，以及Hop连接线。双击执行SQL脚本控件，进入执行SQL语句界面2.配置数据库SQL
2021-11-15 18:12:15
112
原创 2021-11-04
1、Excel输入首先通过Excel建立一个.xls文件，向其中输入数据。建立转换，建立Excal输入控件。双击Excal输入控件，点击浏览选中excel文件，点击添加。点击工作表，输入要读取得工作列表。点击字段选项，点击获取来自头部数据的字段2.生成记录建立一个转换，建立生成记录控件。双击打开生成记录控件，填加相关字段预览记录3.生成随机数建立一个转换，添加生成随机数控件双击随机数控件添加字段点击确定退出后进行启动4.获取系统信息打开Kettle建立一个
2021-11-04 19:27:50
138
原创 2021-10-20
1、对文本文件进行数据粒度转换，即将文本文件personnel_data.txt中字段household_register的数据统一成省份，并且输出到文本文档personnel_data_new.txt中。打开Kettle工具，新建转换使用Kettle工具，创建一个转换generalization,添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。配置文本文件输入控件，双击“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要
2021-10-20 17:55:22
138
原创 2021-10-14
1.对文件merge.csv进行完全去重打开Kettle工具创建转换，并添加“CSV文件输入“控件、”唯一行（哈希值）“控件以及Hop跳连接线。配置“CSV文件输入”控件，进入“CSV文件输入”界面，双击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv，单击“获取字段”按钮Kettle会自动检索CSV文件，并对文件中的字型、格式、长度精度等属性进行分析。单击"预览”按钮，查看CSV文件merge. csv的数据是否加载到CS
2021-10-14 23:12:55
127
原创 2021-10-10
1.相关概念转换是ETL解决方案中重要的组成部分之一，它主要用于数据的抽取、转换以及加载等操作，其本质是一组图形化的数据转换配置的逻辑结构。一个转换包括一个或多个步骤，例如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。转换中的步骤是通过跳来连接的，跳定义了一个单向通道，允许数据从一个步骤向另一个步骤流动。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。目前，大多数的ETL项目都需要完成各种各样的维护工作。例如，如何传送文件、验证数据库中的数据表是否存在等操作
2021-10-10 17:16:50
302
原创 2021-10-10
1.CSV文件的抽取*打开Kettle工具创建一个csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop连接线，用来实现CSV文件数据的抽取功能。双击“CSV文件输入”控件，进入“CSV文件输入”界面；单击【浏览】按钮，选择要抽取的文件csv_extract.csv；单击【获取字段】按钮，Kettle自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。单击【预览】按钮，查看文件csv_extract.csv的数据是否抽取到CSV文件输入流中。双击“表输
2021-10-10 16:43:12
113
原创 第1章 数据清洗概述
1.1.1 数据清洗的背景1.1.1 数据质量概述数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。数据质量的特点：（1）“业务需求”会随着时间变化，数据质量也会随时间发生变化。（2）数据质量可以借助信息系统来度量，但独立于信息系统而存在。（3）数据质量存在于数据的整个生命周期，随着数据的产生而产生，随着数据的消失而消失。1.1.2 数据质量的评价指标数据质量评价的指标主要包括数据的准确性，完整性，简洁性和适用性，其中数据的准确性，完整性，简洁性是为了
2021-09-12 11:12:41
1047
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人