- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hive环境配置——基于CentOS9Stream系统
我在配置环境时发现了一些环境配置的差异，CentOS9Stream上并不能按照完全相同的步骤来完成本地部署，也就是基于本地Mysql数据库的Hive部署方式。安装Mysql数据库，直接使用yum命令下载安装即可，好像是只能使用Mysql8.0，我安装Mysql5.7报了libexec.so6啥的错，网上搜了一些办法最终也没解决，所以最好直接用8.0吧。将Mysql的jdbc驱动拷贝到hive的lib目录下，因为我们下载的是Mysql8.0，所以驱动也要是8.0版本，不用具体到小版本。
2025-03-16 21:13:53
824
原创 全国职业院校技能大赛-大数据应用赛项-离线数据处理-备赛笔记04-2024省赛离线数据处理专项训练
若该条记录第一次进入数仓dwd层则dwd_insert_time、dwd_modify_time均存当前操作时间，并进行数据类型转换。若该数据在进入dwd层时发生了合并修改，则dwd_insert_time时间不变，dwd_modify_time存当前操作时间，其余列存最新的值。若该数据在进入dwd层时发生了合并修改，则dwd_insert_time时间不变，dwd_modify_time存当前操作时间，其余列存最新的值。作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加。
2025-01-04 15:56:19
789
原创 全国职业院校技能大赛-大数据应用赛项-离线数据处理-备赛笔记03-数据抽取清洗与指标计算
5、 将ods库中orders表数据抽取到dwd库中fact_orders的分区表，分区字段为etldate且值与ods库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填写“user1”，dwd_insert_time、dwd_modify_time均填写操作时间，并进行数据类型转换。到Hive的dwd库中对应表中。
2024-12-16 19:21:01
1832
原创 全国职业院校技能大赛-大数据应用赛项-数据采集与实时计算-备赛笔记02-实时数据处理
以get key方式获取totalrefundordercount值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；以get key方式获取totalprice值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；编写Scala代码，使用Flink消费。
2024-12-15 10:07:14
1232
原创 全国职业院校技能大赛-大数据应用赛项-数据采集与实时计算-备赛笔记01-数据采集
使用redis cli以get key方式获取refundcountminute值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；使用redis cli以get key方式获取cancelrate值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面。
2024-12-14 20:50:35
2192
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人