- 博客(58)
- 收藏
- 关注
原创 Hive 拉链表天级更新 SQL 详解(面试 + 生产版)
读取昨日拉链分区里所有有效记录;和当日增量表关联,找出变更 id,旧记录闭链;增量数据生成新记录开链;不变更记录、闭链记录、新开链记录三部分合并写入今日分区;执行 DQ 校验,校验不通过可阻断调度、发告警。
2026-10-23 18:16:48
314
原创 数据库三大范式(面试完整版)
范式(Normal Form)是关系型数据库的表设计规范,目的是减少数据冗余、避免增删改异常。我们日常开发最常使用、面试必问的就是 1NF、2NF、3NF,更高的 BCNF、4NF、5NF 一般很少在数仓开发面试深挖。⚠️ 重要前提:范式是 OLTP 业务库的设计思想;数据仓库通常不严格遵守三范式,大量使用反范式(冗余)来提升查询性能,这句话是面试官高频追问点。函数依赖:A 确定,B 就唯一确定,B 依赖 A;员工 ID 确定,姓名确定部分依赖:主键是 (A,B),B 字段只由 A 就能确定。
2026-10-23 09:55:10
154
原创 据仓库常见表类型详解(面试完整版,金融数仓适用)
定义:全量表保存当前完整的最新状态数据,每次同步会把这张表的全部数据刷新成最新结果,表内只有一份最新快照,不带历史分区。简单一句话:表里永远只有最新一份全集,没有历史版本。特点无分区或者不按日期留存历史;每次抽取覆盖旧数据;数据是当前时刻的全量状态,能直接查最新的全部信息;数据量不大、源系统支持全量抽取时优先使用。适用场景基础字典表、参数配置表、机构信息、产品基础信息这类变更频率很低的数据。比如银行的产品代码字典、网点信息表。这类数据总量小,每天全量重抽成本很低。缺点。
2026-10-22 10:21:34
232
原创 数据仓库核心知识:OLTP 与 OLAP
OLTP 的全称为On-Line Transaction Processing(联机事务处理),它是面向日常业务操作的传统关系型数据库系统,核心职责是支撑一线业务的实时交易处理,保证每一笔业务的原子性与一致性。我们常说的 “业务库”“核心系统”,本质上都属于 OLTP 系统。OLAP 的全称为On-Line Analytical Processing(联机分析处理),它是数据仓库系统的核心形态,面向分析决策场景,支持复杂的多维度聚合、历史回溯、指标计算,核心目标是为经营管理、监管报送、风险分析提供数据支撑。
2026-10-21 16:01:28
237
原创 经典 SQL 面试题:连续登录问题的两种经典解法
连续类问题的通用解题范式是“窗口排序 → 构造分组标记 → 分组聚合”严格连续场景:一次分组即可,日期 - 序号是核心公式;允许间隔场景:多次分组递进,通过多层排名与差值计算,合并符合间隔要求的分段。掌握这套思路,可以覆盖绝大多数连续出现、连续交易、连续打卡类 SQL 面试题。
2026-10-20 10:45:48
191
原创 Oracle 索引分类完整版(面试专用:名称|关键字|用途|原理|示例|坑点 + 面试官深挖追问)
本文系统梳理 Oracle 数据库六大核心索引类型——B-Tree 索引、位图索引、函数索引、分区索引(LOCAL / GLOBAL)、唯一索引和反向键索引,逐一讲解创建关键字、核心用途、底层原理、SQL 示例、优缺点及适用场景,并附面试官深挖问题与参考答案,帮助读者快速掌握索引选型与面试要点。背景:金融数仓、Oracle 开发高频面试,下面整理全部你列出的索引,每一项包含:名称、创建关键字、核心用途、原理、SQL 示例、适用场景、缺点 / 坑点,附带面试官深挖问题 + 参考答案。
2026-10-16 18:42:54
184
原创 金融数仓体系与核心业务知识详解
企业级数据仓库:银行全局统一的、经过清洗、标准化整合的数据底座,是全行唯一可信数据源(Single Source of Truth)。它整合核心账务、信贷、票据、客户、资金等所有业务系统,按统一主题建模,保存全量历史快照,面向全行长期决策、监管报送、跨领域指标计算。数据集市:数仓的业务子集,面向单一业务部门、单一业务场景,由数仓加工后的明细 / 汇总数据二次加工而成,服务特定报表、业务分析与监管报送。例如信贷集市、存款集市、1104 监管集市。
2026-10-15 11:14:21
160
原创 SQL COUNT 统计 NULL 与空字符串 ‘‘ 差异(Oracle & Impala)
本文围绕 SQL 中 COUNT 函数对 NULL 与空字符串的统计差异展开,重点对比 Oracle 与 Impala/Hive 两类数据库的不同处理规则,并给出统计空值记录的具体 SQL 写法,最后结合金融监管 1104 报表校验场景说明实际应用要点。
2026-10-14 16:44:31
232
原创 数据开发面试【问答完整版|带深挖追问 + 扩展回答】
答State 是算子保存的历史中间数据,是有状态计算的基础。按 key 隔离,每个 key 独立一份状态,只能在 KeyedStream 使用,如分组聚合;OperatorState:算子全局状态,不区分 key,常用在 Source(CDC Source、Kafka Source)。深挖追问 1:状态后端有哪些?各自适用场景?
2026-10-14 14:38:38
272
原创 Linux查询自己环境的一些基础命令
以下是一些常用的的命令,适用于 Linux 系统(如 CentOS、Ubuntu),能帮你快速了解当前机器的状态。
2026-05-14 18:47:55
257
原创 Flink 窗口(Window)超详细核心知识点总结
Flink窗口机制是将无限数据流切割为有限块进行计算的核心技术。窗口分为时间窗口和计数窗口,按分配规则又细分为滚动、滑动、会话和全局窗口。使用窗口必须经过keyBy分组以支持多并行度和状态管理。窗口计算方式包括增量聚合(性能高)和全窗口函数(功能全),其中AggregateFunction最灵活,ProcessWindowFunction功能最强大。处理迟到数据可通过允许延迟和侧输出流机制保证计算准确性。窗口是动态创建的"数据桶",采用左闭右开区间[start,end)进行划分。
2026-03-26 18:10:11
462
原创 Apache旗下产品有哪些
大数据看 "H/S/F/K"Hadoop,Spark,Flink,Kafka 是绝对核心。Web 看 "HTTP/Tomcat":最经典的两个服务器。构建看 "Maven":Java 程序员离不开它。趋势看 "中国力量":近两年新毕业的项目中,由中国公司或社区主导的比例非常高(如 Doris, RocketMQ, IoTDB, StreamPark 等),反映了中国在大数据和云原生领域的领先地位。
2026-03-23 11:47:37
583
原创 Apache是什么
当别人提到Apache如果是在讨论网站搭建、服务器配置、端口 80/443→→ 指的是软件。如果是在讨论开源协议、大数据生态、组织架构→→ 指的是Apache 软件基金会或其旗下的某个项目(如 Hadoop, Spark)。如果是在讨论Java Web 容器→→ 可能是指。一句话概括Apache既是互联网历史上最经典的Web 服务器软件,也是孕育了 Hadoop、Spark 等无数顶级开源技术的软件基金会的代名词。
2026-03-23 11:42:09
602
原创 JDBC简介
定义:JDBC 是 Java 连接数据库的标准规范。核心价值“一次编写,到处运行”。它屏蔽了不同数据库之间的差异,让 Java 程序员可以用统一的代码操作各种数据库。关键组成java.sql接口(官方提供) + 数据库驱动 JAR 包(厂商提供)。地位:它是 Java 数据访问的基石。无论你以后使用多么高级的框架(Hibernate, MyBatis, Spring Boot),理解 JDBC 都是掌握数据库操作的根本。
2026-03-23 11:38:55
359
原创 网络工具界的“瑞士军刀”
特性描述通用性只要有网络,就能用。不依赖复杂的配置文件或数据库。灵活性既是客户端又是服务端;既支持 TCP 又支持 UDP;既能传文本也能传二进制文件。轻量级单个可执行文件,无需安装依赖,甚至可以直接放在 U 盘里运行(Portable)。双刃剑运维人员用它排查故障、传数据;安全人员用它测试防火墙、抓漏洞;攻击者用它留后门。一句话总结Netcat 是网络世界的万能胶带。当你需要快速连接两个点、测试一条路、或者在没有任何图形界面和高级工具的情况下传输数据时,nc永远是你最可靠的第一选择。⚠️ 安全提示。
2026-03-23 11:30:03
431
原创 CentOS7初始化配置操作
操作是否必要说明设置静态 IP✅ 必要保证 IP 不变修改主机名✅ 推荐便于识别系统更新✅ 必要安全补丁创建普通用户✅ 推荐避免直接用 rootSSH 安全加固✅ 生产必需防暴力破解时区 & 时间同步✅ 必要日志、定时任务依赖配置 YUM 源✅ 国内推荐加速下载安装基础工具✅ 推荐提高效率。
2026-01-31 18:46:34
116
原创 帆软-服务器器数据集权限配置
3.删除13题IP登录数据决策系统中的a.html配置(不用删应该也可以)整体思路,在12题正常的基础上,把Host name 改成自己电脑中。1.确保tomcat安装目录下中\conf\server.xml中。地址,进行独立部署登录。2.把Host name 改成自己电脑中。用户(阿三阿四)连接时主机名和端口号同上。地址地址登录上帆软后,打开本地帆软进行。
2026-01-29 21:47:51
204
原创 CentOS7中有趣的yum源(彩蛋)-----第三期
彩蛋类型运行环境命令终端动画任何终端oneko图形动画GNOME/KDE 桌面oneko文字娱乐任何终端💡 这些彩蛋不仅好玩,还能帮你熟悉 Linux 的软件生态、依赖管理和图形/终端差异!现在就去召唤你的小猫和鱼群吧!🐱🐠。
2026-01-28 20:42:04
741
原创 CentOS7中有趣的yum源(彩蛋)-----第二期
sl给的命令是在普通用户下,如果你是root登录,命令行前面不用加sudo前提,准备环境已经完成,详情请参考👇。
2026-01-28 19:39:46
517
原创 centos7普通用户登录到root超级用户
表格场景命令临时用 rootsu -(输 root 密码)有 sudo 权限sudo -i(输自己密码)图形登录 root不推荐,需改配置su -然后输入 root 密码,就能进入 root 账户了!如果提示,说明密码错误;如果提示,说明你的用户没权限切换(但 CentOS 安装时一般会设 root 密码)。
2026-01-28 18:30:47
719
原创 matplotlib中常用的函数
✅高度可定制:几乎每个元素(线宽、字体、颜色、图例位置等)都可精细控制✅出版级质量:支持高 DPI 输出,适合论文、报告✅兼容性强:是 Seaborn、Plotly 等高级库的基础⚠️学习曲线较陡:相比 Seaborn,代码更冗长,但灵活性更高。
2025-11-15 18:23:46
364
原创 数据分析——学习小记
阶段关键技能准备阶段数据导入、查看、类型转换清洗阶段缺失值处理、去重、格式统一处理阶段分组聚合、分箱、时间处理、数据变形分析阶段统计描述、关联分析、可视化准备输出阶段结果导出、报告撰写。
2025-11-15 18:16:21
866
原创 Java基础之void
/ 返回 String 类型 → String。// 返回 int 类型 → int。什么时候加void什么时候不加。// 不返回结果 → void。
2025-11-12 19:55:13
326
原创 爬虫小案例——正则式表达
number = item.group('number').replace(',', '').strip() # 移除数字中的逗号。writer.writerow(["电影名称", "导演", "年份", "评分", "评价人数"])r'<span>(?print(f"⚠️ 爬取 {url} 时出错: {e}")print("✅ 豆瓣 TOP250 数据已成功保存到 top250.csv")time.sleep(1) # 礼貌延时,避免触发反爬。print(f"正在爬取: {url}")
2025-11-06 20:20:37
804
空空如也
我的python专业版下错了吗
2025-10-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅