- 博客(4)
- 收藏
- 关注
RSS订阅原创 数仓入湖迁移改造面试题/场景处理_个人归纳常见场景向
所以就需要对各个支## 行的数据库进行统一。16在上一个问题的基础上，你分析出了存储过程中的血缘并完成了本地测试环境sql设计，但测试环境的sql依赖表全都没有数据，哪怕你sql能跑通但无结果，这样根本不能证明你的sql设计合格，你怎么办（简单题）？15.在上一个问题的基础上，如果大数据开发平台有某个依赖表你无权使用，导致无权查，你无法看到后者的查询结果，但是你还是得验证两个平台结果的前后一致，你怎么办（真实场景题）？北京市******限公司，上海****公司，成都市未来**********技无限公司。
2026-08-31 13:33:56
217
原创 Kettle通过时间过滤记录完成对目标表的增量数据抽取?ETL工具
我们可以在csv文件后，增加一个过滤条件的步骤（位置：spoon页面→核心对象→流程→过滤记录），然后在过滤条件中选择我们的过滤条件。创建新手指南：创建一个txt→txt后缀改为csv→电脑设置，为文件选择默认打开方式，将.csv选择为记事本→打开并写入csv文件。为了避免不必要的整体跑批，实现对传输数据的合适裁剪，所以引入增量概念。a003,10004,120,2024-01-17一并插入到目标表，增加了一条18号的记录，同时以时间为17号为判断依据，剔除了。6.配置表输出（具体的配置看我的另外的帖子）
2026-03-19 12:08:06
277
原创 SPARK搭配项目入手 实例 小项目：统计业务点击数
同时自己造数据完成模拟。适合任何水平的spark工作学习者看，我会从业务角度和技术角度保证即使水平较低都能有所收获。这样就完成了一次点击数的统计，并且输出到txt，后续还可以用ETL工具进行数据传输。最好懂Scala语言，这可以很方便理解你在做什么，最好对spark有一些自我理解。2.我将发布几个版本，实现不同功能的迭代，如果觉得代码太长可以直接跳到V4.0部分。需要一定的Scala-Spark语法基础，不限于集合操作，匿名函数，元组，集合。//如果看得懂这两句，本业博客你甚至不用看了，你是技术大佬。
2026-03-12 18:11:21
278
原创 windows端使用Kettle完成Oracle到MYSql的数据输出 初学链接数据库指南和最简单的使用指南
1.驱动错误/缺少驱动 ：需要先下载驱动，如搜索：Kettle对Oracle的驱动包，需要自行在网络寻找.jar驱动包。3.建立两个数据库的demo，其中表输出oracle建表模拟四列和四行数据，mysql只建表且没有first列，等待kettle调入数据。选择新建后，在连接类型选择MySQL，端口号默认3306，注意主机名称，建议填ip，学生可以暂时填本机名。#灵感#对于KETTLE初学者，往往对kettle的上手往往缺乏简单的上手规范，以及完整的纠察初步错误。错误特征：提示你的主机名称没有监听。
2026-01-30 22:40:22
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人