（超详细）全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务1数据抽取

已于 2024-05-21 20:53:56 修改
阅读量1.5k 收藏 18
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 大数据比赛-全国职业院校技能大赛 文章标签： 大数据
于 2023-12-29 20:45:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_67447926/article/details/135298028
这篇博客详细介绍了如何从0开始，完成全国职业院校技能大赛的大数据应用开发任务，特别是离散数据处理中的数据抽取。作者通过四个步骤：前期准备、题目理解、代码实现和检验过程，带领读者逐步了解如何连接MySQL和Hive，获取最大增量字段，筛选数据并将其存储到Hive的ods库中。内容适合初学者，包含每步的代码实现和输出提示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里我想以自己作为scala,IDEA完全0基础的视角，一步步带领你们一起，围绕如何探索一个综合应用这个问题，绝对保姆级，通俗易懂可执行。

一：前期准备：

1，确保虚拟机mysql正常，虚拟机hive正常打开

2，具备创建用IDEA来Maven工程的能力

3，确保可以IDEA创建的Maven工程可以正常同时连接MySQL和HIVE,也能进行基本操作

4，确保IDEA可以正常打jar包，并在虚拟机上spark-submit正常运行jar包

二：题目理解：

53afa8369b2548d19ee7e9c2a057c683.png

a7527a1bbdb94eac90ae747348a81ee5.png

05e9d637f9a047919b65d47d1ed0fc5e.png

了解本专栏 订阅专栏 解锁全文 超级会员免费看
全国职业院校技能大赛-大数据应用赛项-数据挖掘-01
Eternity_04的博客
07-08 1636
-----------------------推荐Top5结果如下--------------------------------------------第一条数据前10列结果展示为：----------------------------------------相同种类前10的id结果展示为：--------------------相似度top5(商品id：14，平均相似度：0.522356)相似度top1(商品id：1，平均相似度：0.983456)若属于该spu_id，则内容为1否则为0。
（超详细）全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务2数据清洗
数据爬坡ing的博客
12-29 1414
全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务1数据清洗（超详细）
2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发
君逍遥o
06-27 3678
本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下: 从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中（若路径不存在，则需新建），将Master节点JDK安装包解压到/opt/module路径中(若路径不存在，则需新建)，将JDK解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号
2023年全国职业院校技能大赛-赛题第02套-GZ033 大数据应用开发
君逍遥o
06-27 2237
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
2023年全国职业院校技能大赛-赛题第06套-GZ033 大数据应用开发
君逍遥o
06-28 3904
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
2024年贵州省职业院校技能大赛 高职组“大数据应用开发”竞赛样题
旺仔Sec&blog
03-10 801
大数据时代背景下，电商经营模式发生很大改变。在传统运营模 式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借 个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提 供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准 确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费 者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周 期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费 观和价值观等。通过数据追踪，知道顾客从哪儿来，是看了某网站投 放的广告还是通过朋友
2023年全国职业院校技能大赛-赛题第05套-GZ033 大数据应用开发
君逍遥o
06-28 1784
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
2023年全国职业院校技能大赛-赛题第09套-GZ033 大数据应用开发
君逍遥o
06-28 1276
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。 MySQL已在容器的Master中安装完毕，用户名/密码为root/123456
2023年全国职业院校技能大赛-赛题第08套-GZ033 大数据应用开发
君逍遥o
06-28 1279
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。 MySQL已在容器的Master中安装完毕，用户名/密码为root/123456
全国职业院校技能大赛-大数据 离线数据处理模块-数据抽取
weixin_71868447的博客
12-22 1447
编写Scala代码，使用Spark将MySQL库中表EnvironmentData，ChangeRecord，BaseMachine，MachineData,ProduceRecord全量抽取到Hive的ods库中对应表environmentdata，changerecord，basemachine， machinedata， producerecord中。数据抽取的题目的代码是非常相似的，只要掌握创建spark对象和连接mysql的方法，那么抽取数据到ods层就不是很难了。
GZ033 大数据应用开发赛项赛题（师生同赛）
10-26
2023年全国职业院校技能大赛（高职组）“大数据应用开发”赛项
2023年全国职业院校技能大赛GZ033 大数据应用开发赛项解析赛题第01套任务A：大数据平台搭建
weixin_44117248的博客
05-08 1520
2023年全国职业院校技能大赛赛题第01套--任务A：大数据平台搭建（容器环境）（15分）--子任务一：Hadoop 完全分布式安装配置
2023年全国职业院校技能大赛GZ033大数据应用开发赛题
11-22 764
涉及的技术包含任务A：大数据平台搭建（容器环境）（Hadoop、Flume、Yarn、spark等等）、任务B：离线数据处理（Hive+sql）、任务C：数据挖掘（Scala+spark）、任务D：数据采集与实时计算（Flink+Kafka）、任务E：数据可视化（vue+echart）、任务F：综合分析（大数据相关知识）但学长耗费大量精力为广大大数据学子制作了这份答案详解，助力各位学子在大数据开发相关比赛中旗开得胜，金榜题名。稳辣稳辣，学大数据专业的全部都稳辣，职业技能大赛稳了。
2023大数据应用开发赛题03套
m0_69535058的博客
09-09 1928
大数据应用开发高等职业教育组GZ033大数据时代背景下，电商经营模式发生很大改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。
2024-2025 学年广东省职业院校技能大赛（高职组） “大数据应用开发”赛项竞赛规程
旺仔Sec&blog
02-16 2550
竞赛内容结合当前大数据相关产业中的新技术、新要求如数据湖、OLAP 数据库应用等，全面检验参赛选手的工程实践能力和创新能力，推进教学过程与生产过程对接、课程内容与职业标准对接、专业设置与产业需求对接，促进职普融通、产教融合、科教融汇，引领专业建设和教学改革。如果技能操作成绩也相同，首先比较数据挖掘任务的成绩，数据挖掘任务成绩高的排名优先，如果数据挖掘任务成绩也相同，则依次按数据采集与实时计算任务、离线数据处理任务、大数据平台搭建任务、数据可视化任务、综合分析任务的成绩进行排名。2.各赛项不得跨校组队。
2024年度大数据应用开发竞赛
weixin_64434613的博客
12-10 1547
dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”，dwd_insert_time、dwd_modify_time均填写。ta_test（该表字段含义与dwd.fact_machine_learning_data表相同，machine_record_state列值为空，表结构自行查看）转成向量，预测其是否报警将结果输出到。
（超详细）全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务3指标计算
数据爬坡ing的博客
12-29 1058
全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务3指标计算（超详细）
2023年全国职业院校技能大赛-赛题第07套-GZ033 大数据应用开发
君逍遥o
06-28 1926
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
（超详细）全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务2数据清洗_gz033 大数据应用开发赛题解析
2401_84166327的博客
04-16 917
conf.set(“hive.exec.dynamic.partition.mode”, “nonstrict”) // 设置动态分区模式为nonstrict。conf.set(“hive.exec.dynamic.partition.mode”, “nonstrict”) // 设置动态分区模式为nonstrict。conf.set(“hive.exec.dynamic.partition.mode”, “nonstrict”) // 设置动态分区模式为nonstrict。
2023年全国职业院校技能大赛--GZ033 大数据应用开发 任务F
最新发布
03-20
### 关于2023年全国职业院校技能大赛GZ033大数据应用开发任务F的解析 目前提供的引用资料并未直接提及“2023年全国职业院校技能大赛GZ033大数据应用开发任务F”的具体内容。然而，通过类比其他赛项的要求以及常见的...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

耐思nice～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值