数据转换--读书笔记

1.对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份，并输出到文本文件personnel_data_new.txt中。

（1）创建转换generalization,并添加各控件及Hop跳连接线

（2）配置文本文件输入控件，双击“文本文件输入”控件，单击“浏览”，选择抽取文件，单击“增加”，将要抽取的文件添加到转换中

单击“内容”选项卡，在分隔符处清除“；”，单击【Insert TAB】按钮，取消勾选“头部”复选框

 单击“字段”选项卡，根据文件的内容添加对应的名称，并指定数据类型，单击“确定”按钮

（3）配置“字段选择”控件，双击“字段选择”控件，在“选择和修改”选项卡处添加字段名称，单击“确定”按钮，完成配置

（4）双击“排序记录”控件，并在“字段”框中添加字段household_register,对其进行排序，单击“确定”按钮，完成配置

（5）双击“表输入”控件，单击“新建”按钮，配置数据库连接，完成配置后单击“确定”

在SQL框中编写SQL语句，用于查询city数据表中的数据，用于与personnel_data.txt文件中household_register字段进行合并连接,单击“确定”按钮，完成“表输入”控件的配置。

（6）配置排序记录2控件，双击“排序记录2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序，单击“确定”按钮，完成“排序记录2”控件的配置。

（7）配置记录集连接控件，双击“记录集连接”控件，进入“合并排序”界面，最后点击“确定”按钮

（8）配置字段选择2控件，双击“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，单击“确定”按钮

（9）配置排序记录3控件，双击“排序记录3”控件，进入“排序记录”界面，在“字段”框中添加字段，并对其进行排序，最后单击“确定”按钮

（10）配置表输入2控件 ，双击“表输入2”控件，进入“表输入2”界面

单击“新建”按钮，配置数据库连接，配置完成后单击“确定”按钮。MySQL数据库连接的配置，

在SQL框中编写SQL语句，用于查询provincial数据表中字段Provincial和pid的数据，用于与household_register字段进行合并连接，最后点击“确定”按钮

（11）配置排序记录4控件，双击“排序记录4”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，单击“确定”按钮

 （12）配置记录集连接2控件，双击“记录集连接2”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录3”，“第二个步骤”处的下拉框中选择“排序记录4”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，最后单击“确定”按钮

 （13）配置字段选择3控件，双击“字段选择3”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，单击“确定”按钮

（14）配置表输出控件，双击“表输出”控件，进入“表输出”配置界面，

 单击“新建”按钮，配置数据库连接，配置完成后单击“确定”按钮。MySQL数据库连接的配置

 单击目标表右侧的“浏览”按钮，选择输出的目标表，即临时数据表personnel；勾选“指定数据库字段”的复选框，

 单击“字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击“Add”按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击“猜一猜”按钮，让Kettle自动实现映射，

 单击“确定”按钮，完成“表输出”控件的配置

 （15）创建转换generalization_merge，并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线，

 （16）配置表输入控件，双击“表输入”控件，进入“表输入”界面，

单击“新建”按钮，配置数据库连接，配置完成后单击“确定”按钮。MySQL数据库连接的配置，

在SQL框中编写SQL语句，用于查询数据表personnel中的数据， 单击“确定”按钮

（17）配置字段选择控件，双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，

（18）配置排序记录控件，双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序， 

（19）配置文本文件输入控件，双击“文本文件输入”控件，进入“文本文件输入”界面，单击‘“浏览”按钮，选择要抽取personnel_data.txt文 件；单 击“增加”按 钮 ，将 要抽 取的personnel_data.txt文 件 添 加 到generalization_merge转换中，

 单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框

 单击“字段”选项卡，根据文本文件personnel_data.txt的内容添加对应的字段名称，并指定数据类型

 （20）配置字段选择2控件，双击“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，

（21）配置排序记录2控件，双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序， 

（22）配置记录集连接控件，双击“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是id；在“连接类型”处的下拉框选择连接类型LEFT OUTER，即左外连接，

（23）配置字段选择3控件，双击“字段选择3”控件，进入“字段选择”界面，在“选择和修改”选项卡处添加字段名称，并将字段household_register_new改为household_register， 

 （24）配置文本文件输出控件，双击“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的“浏览”按钮，选择输出文件，即文本文件personnel_data_new；单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码；单击“字段”选项卡，进入“字段”界面，添加要输出的字段，

 （25）创建一个作业generalization，并添加Start控件、转换控件、成功控件以及Hop作业项连接线，

（26）配置转换控件，双击“转换”控件，进入“转换”界面，单击“Transformations”处的“浏览”按钮，选择添加转换generalization，

（27）配置转换2控件，双击“转换2”控件，进入“转换”界面，单击“Transformations”处的“浏览”按钮，选择添加转换generalization_merge，

 （28）运行作业generalization单击作业工作区顶部的按钮，运行作业generalization，实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中

（29）查看文本文件personnel_data_new.txt中的数据通过文本编辑器工具，查看文本文件personnel_data_new.txt中的数据， 

2.对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。

（1）创建转换monthly_salary，并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线，

（2）配置文本文件输入控件，双击“文本文件输入”控件，进入“文本文件输入”界面，单击“浏览”按钮，选择要抽取personnel_data_new.txt文件；单击“增加”按钮，将要抽取personnel_data_new.txt文件添加到转换monthly_salary中。

单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符

单击“字段”选项卡，根据personnel_data_new.txt文件的内容添加对应的字段名称，并指定数据类型。 

（3）配置增加常量控件，双击“增加常量”控件，进入“增加常量”界面，在字段框中添加一个字段days，并给定一个值22

（4）配置计算器控件，双击“计算器”控件，进入“计算器”界面，在字段框中添加一个字段monthly_salary，用于存储月薪，该字段是由字段days和salary进行相乘所得。 

（5）配置文本文件输出控件，双击“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的“浏览”按钮，选择输出文件，即文本文件personnel_data_monthly_salary；单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符，并在编码处的下拉框选择“UTF-8”编码；单击“字段”选项卡，进入“字段”界面，添加要输出的字段，

 

 （6）运行转换monthly_salary，单击转换工作区顶部的按钮，运行转换monthly_salary，实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。

 （7）通过文本编辑器工具，查看文本文件personnel_data_monthly_salary.txt中的数据，