- 博客(8)
- 收藏
- 关注
RSS订阅原创 数仓建模理论与设计
1.什么是数据建模 数据建模就是基于对于业务的理解，将各种数据进行整合和关联，并最终使得这些数据可用性、可读性增强，让使用方法快速的获取到自己关系的有价值的信息并及时的作出相应，为公司带来效益。 2.为什么要建模 数据建模是一套方法论，主要对数据的存储和整合做一些指导，强调从各个角度合理的存储数据。 有合适的数据模型，带来的好处： 1、查询使用性能提升 2、用户效率提高，改善用户体验 3、提升数据质量 因此大数据系统需要数据模型方法来更好的组织和存储，以便在性能，成本，效率和...
2022-05-13 17:36:05
550
原创 PowerDesigner表名、字段和字段类型大小写转换，表结构导出到Excel
PowerDesigner表结构和字段大小写转换 ##PowerDesigner去除双引号## 平时经常用PowerDesigner设计表结构。但是有时候在设计表结构和字段的时候经常是大小写混合用。导致一张表中有的字段是大写有的是小写。PowerDesigner在设计表示如果表明或字段名是小写。则在生成SQL时会自动在表名上使用双引号。例如： /*==============================================================*/ /* Table: "t
2021-09-09 17:00:59
721
原创 Hive sql 底层执行原理
目录 本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive Hive 底层执行架构 Hive SQL 编译成 MapReduce 过程 SQL编译成MapReduce具体原理 Hive Hive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负
2021-08-21 22:44:15
926
转载 Hive知识体系教程
详细知识链接：https://blog.youkuaiyun.com/WindyQCF/article/details/119792511 Hive涉及的知识点如下图所示，本文将逐一讲解： 正文开始： 一. Hive概览 1.1 hive的简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为Map
2021-08-21 22:35:39
172
原创 B+Tree的演化
1、B+Tree的演化 B+Tree是从最早的平衡二叉树演化而来的，其中的B是（balance），不是二叉（binary）。在讲B+Tree之前要先了解二叉查找树，平衡二叉树（AVLTree），平衡多路查找树（B-Tree），B+Tree是从这些结构演化而来的。 1、二叉查找树 二叉树性质：左子树的键值小于根的键值，右子树的键值大于根的键值。 上两图同为二叉查找树，对二叉树节点进行查找，深度为1的节点查找次数为1，深度为2节点查找次数为2，深度为n的节点查找次数为n，因此上图左一...
2021-08-17 17:40:17
261
原创 索引的原理
1.索引有哪些 在MySQL中物理上分B-Tree索引和Hash索引，B-Tree索引中有，唯一索引、主键索引、全文索引、单列索引、多列索引。 Hash索引在实际中不经常用，它实际上是通过一定的Hash算法，将需要索引的键值进行Hash算法，然后将得到的Hash值存入一个Hash表中。每次需要检索时，都会将检索条件进行相同的hash运算，再和hash表中的hash值进行比较，并得出相应的信息所以hash索引只能用于等值过滤，不能范围查询。 2.索引为什么能提高查询效率/索引原理...
2021-08-16 23:31:31
664
原创 Oracle函数
函数： y=f（x） x叫参数 y叫返回值 输入x 经过一系列计算 返回结果 y=x*x+2 to_date to_date(19810601,'yyyymmdd')两个参数 Insert Into date_test Select to_date ('2018/01/01','yyyy/mm/dd') From dual 1.--nvl( ) 括号里两个参数 把空值转换为某个值 空值 NULL is null 查询出king的年工资（sal+comm） Select (sal+nvl
2021-08-07 10:48:03
469
原创 Oracle数据类型
1.数据类型 计算机都要有数据类型，不同语言存储数据的方式不同，计算机是二进制 只能识别 0，1信息，机器只能识别电流，电流靠开关控制，开是 1，关是 0，二进制信号再往上转化成更高级的数据数据存在内存里面，永远存在硬盘里面的硬盘数字，英文，标点符号，汉字，日期等、统称数据。 /* 在计算机里叫数据类型不同语言有不同数据类型，我们只研究数据库的数据类型。 三大类：字符串，数字，日期*/ 一，字符串：在库里数据只要 '123njnjb' 只要打两个引号都叫字符串 存在表里的时候两个引号不会显示 V
2021-08-07 10:45:13
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人