GTW、Zeus的博客

1、转换是转换里面的第四个分类。转换属于ETL的T，T就是Transform清洗、转换。ETL三个部分中，T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。2、Concat fields就是多个字段连接起来形成一个新的字段。3、 值映射把字段的一个值映射成其他的值。在数据质量规范上使用非常多，比如很多系统对应性别gender字段的定义不同。4、增加常量在本身的数据流里面添加一列数据，该列的数据都是相同的值。5、增加序列给数据流添加一个序列字段。6、字段选择从数据流中

概念转换包括一个或多个步骤，步骤之间通过跳(hop)来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。步骤是转换的基本组成部分，以图标的形式出现。如（表输入、文本文件输出）。步骤将数据写到与之相连的一个或多个输出跳，再传送到跳的另一端的步骤。这说明，跳是步骤之间带箭头的连线， 其实是两个步骤之间的，被称为行集(rowset)的，数据行缓存。（行集的大小可以在转换里定义）一个步骤的数据发送可以设置为轮

1、什么是ETL?ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少具体详情不懂的ETL可以看我往期博客，点击这里2、什么是Kettle？Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第九章：关系查询处理和查询优化/

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第四章 ：数据库安全性//了解

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第一章 绪论//了解 数据管理技术的产生和发展过程

《数据库原理及应用》参考试题1一、选择题1、数据库系统的基本特征是_________。A、数据的统一控制 B、数据共享性和统一控制C、数据共享性、独立性和冗余度小 D、数据共享性和数据独立性（难度系数C）正确答案：C2、DB、DBMS和DBS三者之间的关系是_________。A、DBS与DB和DBMS无关 B、DBMS包括DBS和DBC、DB包括DBMS和DBS D、DBS包括DB和DBMS（难度系数B）正确答案：

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第七章：数据库设计//了解

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第二章：关系数据库//了解关系

数据库原理复习大纲第一章 数据库概述1.1 概述 1.基本概念数据库(DB)、数据库管理系统(DBMS)、数据库系统(DBS)概念数据库是存储在计算机内、有组织的、可共享的数据集合。数据库管理系统（DBMS）是位于用户与操作系统之间的一层数据管理软件，用于科学地组织和存储数据、高效地获取和维护数据。DBMS的主要功能包包括数据定义功能、数据操作功能、数据库运行管理功能、数据库的建立和维护功能。数据库系统是指在计算机系统中引入数据库后的系统构成。数据库系统由数据库、数据库管理系统、应用系统、数据

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第八章：数据库编程(简单了解就行)

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第五章 ：数据库完整性//了解

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第三章 ：关系数据库标准语言SQL

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第六章 ：关系数据理论//了解

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏————————————————B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第十章 数据库恢复//了解 数

该系列的博客都是基于《数据库系统概论》第五版王珊一书前提：因为最近要升学的原因，再加上重温数据库部分内容，所以整理一份比较详细且重点的笔记。适合有考研升学需求的人收藏B站里也是有该老师的上课视频：链接放在下面：https://www.bilibili.com/video/BV1pW411W7Do?from=search&seid=17230259822734539218（不过年代比较久远，而且画质一般，有兴趣的可以听听）第十一章 并发控制//了解 数据库并发控制技术的必要性

ETL概念ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。一、数据的抽取（Extract）这一部分需要在调研阶段做大量的工作，首先要搞清楚数据是从几个业务系统中来,各个业务系统的数据库服务器运行什么DBMS,是否存在手工数据，手工数据量有多大，是否存在非结构化的数据等等，当收集完这些信息之后才可以进行数

操作数据存储（ODS）和数据仓库（DW）的区别与联系基础概念：（抓住重点：DW是反映历史变化，ODS是反映当前变化）数据仓库(Data Warehouse /Enterprise Data Warehouse简称EDW企业级数据仓库)：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。时效：T+1操作

数据库（DB）和数据仓库（DW）的区别与联系数据库与数据仓库基础概念：数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP和OLAP概念补充：数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line