LeFran的博客

拉链表的实现流程缓慢变化维表数据实现流程(left join + union all)第一步 更新历史数据(left join)第二步 合并新增及更新的数据(union all)缓慢变化维缓慢变化维: 为了记录数据历史变更数据 拉链表: 采用拉链表的形式维护历史变化信息. 在原有表增加二个字段(start_time.end_time) 通过这两个字段, 来维护用户每一段变化的数据经历周期.从而形成拉链数据过程 优点:实现简单,可以非常方便的维护更多的历史版本数据 弊端:只要有其中

分桶表啥是分桶表?咋定义分桶表?咋向分桶表插入数据?分桶表有啥用?啥是分桶表?主要是用于分文件的.在创建表的时候 .可以按照某个字段进行分桶操作.并且设置分为多少个桶,这样在插入数据的时候.翻译后MR会将分桶字段的值作为k2.将分桶数量作为MR的分区数量.进行划分为多个文件操作.本质就是 MR的分区操作.咋定义分桶表?create table test_buck(id int, name string)clustered by(id) sorted by (id asc) into

窗口函数避坑总结方法技巧一 sql五字句顺序二 sql 窗口字段顺序(坑)1 不能使用窗口函数的情况① 不能在where 字句中使用窗口函数 :窗口函数于where后执行② 不能在having字句中使用窗口函数 : 窗口函数于having后执行③ 不能在group by 中使用窗口函数 : 解决方法 使用子查询2窗口函数与group by一起使用3rank时使用聚合函数4利用group by 计算环比5对group by 分组后的数据使用 partition by小结三 排序函数四 分析函数五 order

窗口函数-排序函数1 RANK() OVER (ORDER BY ...):并列情况序号不连续2 DENSE_RANK() OVER (ORDER BY ...):返回'连续'序号3 ROW_NUMBER() OVER (ORDER BY ...):返回连续唯一的行号4 rank(),dense_rank(),row_number()的区别,比较,图示5 NTILE(X) OVER (ORDER BY ...):将数据分组,并为每组添加一个相同的序号小结1 RANK() OVER (ORDER BY …)

窗口函数-分析函数1 lead(x,y,z) 函数:领先,找行号更大的数据 返回当前行后面的值2 lag(x,y,z) 函数:落后,找行号更小的数据 返回当前行之前的值3 FIRST_VALUE(expr) 返回指定列的第一个值4 LAST_VALUE(expr) 返回指定列的最后一个值5 (巨重要)nth_value(x,n) 函数返回X列,按指定顺讯的第n个值小结1 lead(x,y,z) 函数:领先,找行号更大的数据 返回当前行后面的值LEAD(x,y,z) 函数: 领先,找行号

创建视图/修改视图1 啥是视图2 视图的基本使用视图的应用具体场景1 啥是视图是一条sql语句,我们用特定名称保存该语句.它不存储数据,但是可以把视图当做一张表进行查询操作.可以在一个视图的基础上创建另一个视图,但是一般不这么使用视图不保存数据,在底层不开辟空间,所以视图只用于查询2 视图的基本使用如何 创建/修改视图:create or replace view 视图名 as select 字段名 from 表明如何删除视图:drop view 视图名;视图的应用具体场景

外键约束 foreign key1外键约束的作用2对于已经存在的字段添加外键约束3在创建数据表时设置外键约束4删除外键约束1外键约束的作用外键约束: 对外键字段的值进行更新或者插入时会和引用表中字段的数据进行验证,数据如果不合法则更新和插入会失败,保证数据的有效性2对于已经存在的字段添加外键约束alter table 从表名字 add foreign key(外键字段) references 主表(主键字段);3在创建数据表时设置外键约束只有在下级表中可以添加外键约束.例子:-- 创建学校

union 链接的表的

分组查询1 group by2 group_concat(字段名)3 聚合函数和group by结合使用4 having5 with rollup**分组查询就是将查询结果按照指定字段进行分组，字段中数据相等的分为一组。分组查询基本的语法格式如下：GROUP BY 列名 [HAVING 条件表达式] [WITH ROLLUP]说明:列名: 是指按照指定字段的值进行分组。HAVING 条件表达式: 用来过滤分组后的数据。WITH ROLLUP：在所有记录的最后加上一条记录，显示select查询时

连接查询1、自连接查询2、内连接查询3、左连接查询4、右连接查询1、自连接查询自连接查询就是一个表和它自身进行连接,是多表连接的特殊情况.自连接查询就是以类似多表对比的方式,实现对同一张表内数据进行复杂的关系表示或者处理.例子:区域表效果图 :中国->省>市->区/镇例子表格数据提取码:0000分析:1 查询省的名称为'山西'的所有城市select b.title from areas as a inner join areas as b on a.id=b.pi

mysql数据类型数值类型日期和时间类型字符串类型关于字节的个人理解数值类型类型/汉译大小(bytes)范围(有符号)范围(无符号)使用场景tinyint 极小的微小的1(-128，127)(0，255)小整数值smallint 小的2(-32 768，32 767)(0，65 535)大整数值mediumint 中等的3(-8 388 608，8 388 607)(0，16 777 215)大整数值int/integer 整数4

mysql的分页查询语句mysql的分页查询sql语句写法:n:求第几页的数据m:每页显示m条数据公式:select * from tablename limit (n-1)*m,m;例子:第一页数据,一页显示3行数据select * from tablename limit 0,3;第二页数据,一页显示3行数据 (3-1)*2,3select * from tablename limit 3,3;...

Mysql基础一 数据库的介绍二 数据类型和约束三级目录一 数据库的介绍1 数据库就是存储和管理数据的一个仓库,是用来持久化存储和快速读取数据的.基本操作:增删改查2 数据库可以分为关系型数据库和非关系型数据库.常用的关系型: Oracle ,Microsoft SQL Server, MySQL,SQLite常用的非关系型: 又被称为NoSQL(not only sql),不仅仅是sql,对NoSQL最普遍的定义是"非关联型的",强调Key-Value的方式存储数据.二 数据类型和约束三级