- 博客(40)
- 收藏
- 关注
原创 【阿里巴巴大数据之路】事实表设计
事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。作为业务过程的事实,一般为整型或浮点型的十进制数值,有可加性、半可加性和不可加性三种类型。维度属性也可以存储到事实表中,这种存储到事实表中的维度列被称为“退化维度”。与其他存储在维表中的维度一样,退化维度也可以用来进行事实表的过滤查询、实现聚合操作等。
2025-10-19 12:27:21
780
原创 【SQL错题本】记录一些没有思路的sql题
timestampdiff(minute,t1.create_time,t2.out_time),时间戳相减函数,用后者减前者,minute可以更换为hour/second,换成什么就会返回相减结果以hour/second的整数部分。concat(round(coalesce(order_cnt,0) / visit_cnt * 100,1),’%‘) as cr,如果要求展示结果为保留一位小数的百分数,用round保留1位小数,再将其与’%'拼接起来。’):将多行的name用’;
2025-10-15 21:30:26
478
原创 【阿里巴巴大数据实践之路学习记录】第十章-维度设计
在维度建模中,将度量称为“事实”,将环境描述为“维度”,维度是用于分析事实的多样环境。例如,在分析交易时,可以通过卖家、买家、商品和时间等维度分析交易发生过程。维度所包含表示维度的列,称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。如何获得维度或维度属性?一方面,可以在报表中获取;一方面,与业务人员交谈发现,因为它常出现在by语句中。维度使用主键标识其唯一性,主键也是确保与之相连的任何事实表之间存在引用完整性的基础。
2025-08-09 23:24:27
713
原创 【阿里巴巴大数据实践之路学习记录】第九章-数据整合及管理体系
将表数据模型分为三层:操作数据层(ods)、公共维度模型层(cdm)和应用数据层(ads),其中公共维度模型层包括明细数据层(dwd)和汇总数据层(dws)。数据模型的维度设计主要以维度建模理论为基础,基于维度数据模型总线架构,构建一致性的维度和事实。(4)模型设计:模型设计主要包括维度及属性的规范定义,维表、明细事实表和汇总事实表的模型设计。(3)规范定义:规范定义主要定义指标体系,包括原子指标、修饰词、时间周期和派生指标。
2025-07-21 00:28:23
880
原创 【工作流】FROM GPT
工作流”和“工作流任务”通常是在企业管理、软件开发、流程自动化等领域中使用的概念。它们有助于简化和优化工作中的任务安排、协调与执行。
2025-06-30 16:57:42
504
原创 【力扣数据库知识手册】数据库优化
主从复制是指将**主数据库(Master)中的DDL和DML操作通过二进制日志传输到从数据库(Slave)**上,然后将这些日志重新执行(重做),从而使得从数据库的数据与主数据库保持一致。当主数据库出现问题时,可以切换到从数据库;可以进行数据库层面的读写分离,实现负载均衡;可以在从数据库上进行实时数据备份。
2025-06-24 17:10:25
712
原创 【Linux系统】I/O多路复用
多路是指网络连接,复用是指同一个线程。IO多路复用是一种同步IO模型,实现一个线程可以监视多个文件句柄;一旦某个文件句柄就绪,就能够通知应用程序进行相应的读写操作;没有文件句柄就绪就会阻塞应用程序,交出CPU。
2025-06-24 15:48:51
785
原创 【力扣数据库知识手册】关于redis
全称为Remote Dictionary Server,本质上是一个Key-Value类型的内存数据库,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据写入磁盘或把修改操作写入追加的记录文件,并且在此基础上实现Master-Slave(主从)同步。它支持存储的Value类型多样,包括String、List、Set、zset和Hash,这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。
2025-06-20 11:42:57
1002
原创 【力扣数据库知识手册】常用SQL语句
超键:在关系中,能唯一标识元组的属性集称为关系模式的超键。一个属性可以作为一个超键,多个属性组合在一起也可以作为一个超键。超键包含候选键和主键。候选键:是最小超键,即没有冗余元素的超键。主键:数据库表中对储存数据对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个主键,且主键的取值不能缺失,即不能为空值。外键:在一个表中存在的另一个表的主键称为此表的外键,外键可以有重复的,可以是空值。外键是用来和其他表建立联系用的。多条sql语句嵌套使用时,内部的sql查询语句称为子查询。
2025-06-16 21:02:57
993
1
原创 【力扣数据库知识手册】锁机制
死锁是指两个或多个事务在同一资源上相互占用,并请求锁定对方的资源,从而导致恶性循环的现象。DBMS中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制(悲观锁)是并发控制主要采用的技术手段。悲观锁:假定会发生并发冲突,屏蔽一切可能违反数据完整性的操作。在查询完数据的时候就把事务锁起来,直到提交事务。对于长事务,可能会严重影响系统的并发处理能力。实现方式:数据库中的锁机制。
2025-06-16 18:54:07
759
原创 【力扣数据库知识手册】阶段自测
数据库的事务是一种机制、一个操作序列,包含了一组数据库操作命令,其执行结果必须使数据库从一种一致性状态变到另一种一致性状态。DBMS的锁机制。一个数据读了另一个数据未提交的数据。
2025-06-16 16:53:42
379
原创 【力扣数据库知识手册】事务管理
数据库的事务是一种机制、一个操作序列,包含了一组数据库命令,其执行的结果必须使数据库从一种一致性状态到另一种一致性状态。事务把所有的命令作为一个整体一起向系统提交或撤销操作请求,是一个不可分割的工作逻辑单元。如果任意一个操作失败,那么整租操作即为失败,会回到操作前状态或者是上一个节点。因此,事务是保持逻辑数据一致性和可恢复性的重要利器。而锁是实现事务的关键,可以保证事务的完整性和并发性。
2025-06-16 15:26:26
957
原创 【力扣数据库知识手册笔记】索引
索引开始的几个字符,而不是索引全部值,避免因为需要索引很长的字符列使得索引变大变慢,这种索引被称为前缀索引,以节约空间并得到好的性能。建立前缀索引的前提:前缀的辨识度高(如密码)。前缀索引需要的空间变小,但也会降低选择性(不重复的索引值/表中所有行数T,范围为1/T~1)。高选择性的索引在查找匹配的时候可以过滤掉更多的行,唯一索引的选择率为1,为最佳值。在MySQL建立联合索引(多列索引)时会遵守最左前缀匹配原则,即最左优先,在检索数据时从联合索引的最左边开始匹配。
2025-06-10 13:37:39
762
原创 【力扣数据库知识手册笔记】数据库基础概念
数据库连接泄露指的是如果在某次使用或者某段程序中没有正确地关闭Connection、Statement和ResultSet资源,那么每次执行都会留下一些没有关闭的连接,这些连接失去了引用而不能得到重新使用,因此就造成了数据库连接的泄漏。数据库连接的资源是宝贵而且优先的,如果在某段使用频率很高的代码中出现这种泄漏,那么数据库连接资源将被耗尽,影响系统的正常运转。
2025-06-05 09:38:39
503
原创 【hive sql】窗口函数
上述俩函数如果用desc倒序排序,则first_value取的是最后一个值,last_value取的是第一个值。5. 序列分析函数,不支持window子句。
2025-06-04 15:54:06
1207
原创 【kafla扫盲】FROM GPT
将不同来源的日志数据集中到 Kafka 中,再批量存入 HDFS 或 Elasticsearch。,最早由 LinkedIn 开发,后来开源并捐赠给 Apache 基金会。通过 Kafka 连接流处理框架(如 Spark Streaming、Flink)。作为消息中间件,替代传统 MQ(如 RabbitMQ)。如果有更多 Kafka 使用或调优问题,请随时联系我!Kafka 是目前流处理和消息中间件的。Kafka 中用于存放和组织消息的。收集服务器日志、应用监控数据。Kafka 集群中的。
2025-05-09 10:12:34
783
原创 【想转机器学习算法】chatgpt帮忙列出的转行计划
✅ 刷题:每天3-5题,3个月刷完上面40题,基础+高频掌握。✅ 做项目:用Titanic+图像分类各打一套完整流程(数据预处理、建模、调优、总结报告)。✅ 准备面试:在做完项目后,整理一份"项目介绍文档+常见问答"。✅ 3个月后,你的能力可以达到机器学习岗标准,能稳定面ML工程师岗位的初级/中级面试!
2025-04-29 17:32:50
943
原创 【数据分析实习】所遇到的一些错误点
作为世界脚本中一个微不足道的NPC,没有全局视角容易让我们陷入牛角尖,进而作出错误的判断、决定和行为。只有根据自己得到的局部信息,不断对自己进行正反馈与负反馈,才能慢慢走向当前的局部最优。
2025-02-26 10:19:02
940
原创 数据面试准备
总结:支持向量回归(SVR)是一个强大的回归模型,特别适用于非线性回归问题、高维数据集和噪声数据。它通过最大化间隔并对数据的误差进行惩罚,从而能够有效避免过拟合,提高模型的泛化能力.lag()函数:用于访问当前行之前的某一行的数据。
2024-11-07 11:36:24
1412
原创 【黑马程序员MySQL学习笔记】基础-事务
【黑马程序员 MySQL数据库入门到精通,从mysql安装到mysql高级、mysql优化全囊括】 https://www.bilibili.com/video/BV1Kr4y1i7ru/?p=57&share_source=copy_web&vd_source=b5a302f7a8db34b3549daa84d02bf993
2024-11-03 19:23:55
357
原创 【黑马程序员MySQL学习笔记】基础-多表查询
【黑马程序员 MySQL数据库入门到精通,从mysql安装到mysql高级、mysql优化全囊括】 https://www.bilibili.com/video/BV1Kr4y1i7ru/?p=51&share_source=copy_web&vd_source=b5a302f7a8db34b3549daa84d02bf993
2024-11-03 16:55:02
598
原创 【黑马程序员MySQL笔记】基础-函数和约束
【黑马程序员 MySQL数据库入门到精通,从mysql安装到mysql高级、mysql优化全囊括】 https://www.bilibili.com/video/BV1Kr4y1i7ru/?p=37&share_source=copy_web&vd_source=b5a302f7a8db34b3549daa84d02bf993
2024-11-02 21:59:34
401
原创 【黑马程序员MySQL笔记】基础-SQL
【黑马程序员 MySQL数据库入门到精通,从mysql安装到mysql高级、mysql优化全囊括】 https://www.bilibili.com/video/BV1Kr4y1i7ru/?p=27&share_source=copy_web&vd_source=b5a302f7a8db34b3549daa84d02bf993
2024-11-02 20:30:01
1300
原创 【黑马程序员java笔记】集合
在泛型中放入自己定义的类的名称,添加时直接添加对象即可。此时直接打印集合元素时打印的是地址值,需要利用自己定义的类中的构造方法获取内容再打印。由于集合的长度可以发生变化,所以当集合没有内容时,list.size()获得的是零。
2024-09-22 15:09:46
462
原创 【黑马程序员java学习笔记】字符串
字符串的内容是不会发生改变的,它的对象在创建后不能被更改。- charAt方法可以根据索引获得字符串中的每个字符。可以看成一个容器,创建之后里面的内容是可变的。String replace(旧值,新值)根据身份证信息获得出生年月日和性别信息。
2024-09-22 10:44:48
1112
原创 【黑马程序员java笔记】面向对象综合训练
重点:理清楚每一类中需要有什么变量、构造和方法;如何构造实现测试类中通过输入来选择角色?如何将攻击方式扣除的血量固定?数组的添加、遍历、删除和修改。
2024-09-06 10:06:21
728
2
原创 【黑马程序员java笔记】java基础的综合练习
故对10取余的逆操作时,如果是0到4之间,则需要加上10;如果是5到9之间,则是本身。一维数组的内存空间可以先不给出,即定义二维数组时可定义:int[][] arr=new int[2][];或者定义了之后也可以赋值维度不同的一维数组,因为二维数组存储的是一维数组的地址。缺点:判断中奖的循环存在问题,可以直接用中奖金额来分情况判断。2.每一位都是相同的操作,利用循环加五以及对十取余。1.读取六位评委打的分数,可以用数组存储。2.剔除不合法的分数,小于0或大于100。数字加密的逆操作,对10取余的逆操作是?
2024-09-05 14:59:13
869
原创 【黑马程序员java笔记】java基础的数组和方法练习
拷贝的范围可以自己定义,也可以键盘输入。这里设定的是自己定义。要干嘛?拷贝数组干这件事需要什么?数组,拷贝开始索引和拷贝结束索引是否需要返回?返回拷贝的数组/*** @Description:拷贝数组} //1. 要干嘛?拷贝数组 //2. 干这件事需要什么?数组,拷贝开始索引和拷贝结束索引 //3. 是否需要返回?返回拷贝的数组 public static int [ ] copyOfRange(int [ ] original , int from , int to) {
2024-09-04 16:40:14
362
原创 【黑马程序员java笔记】java基础的循环练习题
黑马程序员b站视频学习笔记,链接地址为:【Java零基础视频教程上部_黑马程序员(Java入门,含斯坦福大学练习题+力扣算法题和大厂java面试题)】 https://www.bilibili.com/video/BV17F411T7Ao/?p=56&share_source=copy_web&vd_source=b5a302f7a8db34b3549daa84d02bf993
2024-09-04 14:25:21
670
2
原创 【狂神说java笔记】异常机制
catch(想要捕获的异常){执行}该结构体可以有多个,但是一定要在try和finally中间。把最大的异常放在最下面,从小到大去捕获,执行方法和if-elseif-else差不多。Java把异常当作对象来处理,并定义了一个基类java.lang.Throwable作为所有异常的超类。错误是灾难性的致命的错误,是程序无法控制和处理的;异常通常情况下是可以被程序处理的。在要捕获的代码行,点击ctrl+alt+T,则可以快捷生成捕获异常程序。自定义异常的核心即自己写一个异常类继承Exception。
2024-08-25 20:31:11
410
原创 【狂神说java笔记】面向对象编程
本质是对某一批类的抽象子类是父类的扩展,JAVA中类只有单继承,没有多继承,即一个子类只能直接继承一个类注意父类中的方法是public时,子类才可以调用ctrl+h可以展现继承结构,JAVA中所有类都默认继承Object类,故所有类都可调用Object类中的方法。
2024-08-25 18:15:39
1200
原创 【狂神说java笔记】数组
定义:int[][] array = {{1,2},{3,4},{5,6},{7,8}}当数组中大部分元素为零,或者为同一个值的数组时,可以使用稀疏数组来保存该数组。声明的时候数组并不存在,使用new操作符创建后,数组才产生。数组的工具类java.util.Arrays。Arrays.fill 填充。Arrays.toString打印数组。Arrays.sort 排序。可以按ctrl再点击进去看源码学习。横竖都是0-length-1。可以看为是一维数组的数组。
2024-08-24 21:21:26
401
原创 【狂神说java笔记】java方法详解
Java方法是语句的集合,它们在一起执行一个功能。命名规则:首字母小写加驼峰命名相当于c中的函数?一个方法只完成一个功能,有利于后期扩展方法包含一个方法头和一个方法体:修饰符 返回值类型 方法名(参数类型 参数名){方法体return 返回值java都是值传递。
2024-08-24 14:26:26
461
原创 【狂神说Java笔记】Java流程控制
课程笔记,课程链接:https://www.bilibili.com/video/BV12J41137hu?p=45&spm_id_from=pageDriver&vd_source=f04f1a5c410c96d859e82a97f1007855
2024-08-20 20:45:48
285
原创 【狂神说java笔记】基础语法
b站【狂神说java】系列笔记链接为【【狂神说Java】Java零基础学习视频通俗易懂-哔哩哔哩】 https://b23.tv/Qd0l87H
2024-08-20 18:39:50
443
原创 【狂神说java笔记】Markdown学习
b站【狂神说java】系列笔记链接为【【狂神说Java】Java零基础学习视频通俗易懂-哔哩哔哩】 https://b23.tv/Qd0l87H
2024-08-19 11:05:49
332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅