- 博客(42)
- 收藏
- 关注
RSS订阅
原创 2024大数据职业技能竞赛（国赛）模块B数据处理题解
第一套各节点可通过Asbru工具或SSH客户端进行SSH访问；主节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任务在Yarn上用Client运行，方便观察日志。
2024-01-06 23:39:06
1412
1
原创 搭建大数据技能竞赛比赛环境容器docker模块A-容器绑定物理网卡
编写Dockerfile基于cnetos7.9镜像搭建mysql5.7并初始化数据库和更改临时密码；物理网卡直接绑定容器，让容器与宿主机同一网段并且网络正常使用；搭建大数据技能竞赛模块A基础环境.
2025-03-10 08:00:00
964
原创 广东GZ033-任务E：数据可视化（15 分）-用柱状图展示销售金额最高的6 个月
编写Vue 工程代码， 读取虚拟机bigdata-spark 的/opt/data 目录下的 supermarket_visualization.csv，用柱状图展示2024 年销售金额最高的6 个月， 同时将用于图表展示的数据结构在vscode 终端中进行打印输出，将图表可视化 结果和vscode 终端打印结果分别截图并粘贴至物理机桌面【Release\任务E 提 交结果.docx】中对应的任务序号下。
2025-02-27 15:10:37
538
3
原创 大数据职业技能资源分享
以下是一些大数据平台搭建的软件包和相关资料的分享：官网链接>>官网链接>>官网链接>>官网链接>>官网链接>>官网链接>>官网链接>>官网链接>>官网链接>> 官网链接>>官网链接>>官网链接>>官网链接>>迅雷资源pwd=53n2#
2025-01-02 08:00:00
512
原创 Hadoop HA安装配置(容器环境)，大数据职业技能竞赛模块A平台搭建,jdk+zookeeper+hadoop HA
（1） 所谓HA（High Availablity）,即高可用（7*24小时不中断服务）。（2） 实现高可用最关键的策略是消除单点故障，HA严格来说应该分为各个组件的HA机制，HDFS的HA和YARN的HA。（3） NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode机器需要升级，包括软件、硬件省级，此时集群也将无法使用。
2024-12-30 02:39:43
1663
原创 Hudi安装配置（容器环境）大数据技能竞赛平台搭建
hudi安装配置（容器环境）大数据技能竞赛模块A平台搭建，hudi与spark集成，数据胡安装配置
2024-12-27 08:00:00
2409
原创 ClickHouse单节点安装配置(容器环境)大数据职业技能竞赛
大数据职业技能竞赛容器环境单节点安装部署ClickHouse，大数据模块A平台搭建部署。
2024-12-26 08:00:00
1313
原创 Hive安装配置(容器环境)大数据职业技能竞赛
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
2024-12-15 08:00:00
1151
3
原创 Kafka安装配置(zookeeper+kafka)
kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
2024-12-13 08:00:00
2539
原创 HBase分布式安装配置（Zookeeper+HBase）
HBase 是一个面向列式存储的分布式数据库，其设计思想来源于 Google 的 BigTable 论文。HBase 底层存储基于 HDFS 实现，集群的管理基于 ZooKeeper 实现。HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾，是大数据领域中 Key-Value 数据结构存储最常用的数据库方案。
2024-12-10 08:00:00
2905
原创 Spark on Yarn安装配置,大数据技能竞赛（容器环境）
Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务，由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以有效提高资源利用率。服务端登录地址详见各任务服务端说明。补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行安装，用不到的可忽略；所有任务中应用命令必须采用绝对路径；进入Master节点的方式为进入Slave1节点的方式为。
2024-12-05 20:58:22
2099
原创 Flink on Yarn安装配置,大数据技能竞赛（容器环境）
1、 从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中,将Flink包解压到路径/opt/module中(若路径不存在，则需新建)，将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；在容器中/opt目录下运行命令flink --version，将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；
2024-12-04 08:00:00
1589
原创 2024世界职业技能大赛大数据平台搭建Flume安装配置(容器环境)
在容器中搭建大数据平台，搭建完hadoop后搭建flume，并采集hadoop的namenode的日志传输到hdfs系统中
2024-12-01 07:45:00
909
原创 2024大数据职业技能竞赛（国赛）模块E-工业 用折线图展示设备OP160每日的运行时长
编写Vue工程代码，根据接口，用折线图展示设备OP160每日的运行时长（秒），同时将用于图表展示 的数据结构在浏览器的console中进行打印输出， 将图表可视化结果和浏览器console打印结果分别截 图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-11-22 08:00:00
317
原创 2024世界职业技能大赛大数据平台搭建hadoop(容器环境)
使用容器搭建hadoop,使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径,技能竞赛大数据应用开发模块A得分技巧
2024-11-15 22:52:36
1561
2
原创 世界技能竞赛大数据应用开发环境1:1还原
世界职业院校技能竞赛，全国职业技能竞赛，大数据应用开发，国赛大数据，数据处理，数据可视化，大数据平台搭建。
2024-11-08 11:33:38
492
原创 2024大数据职业技能竞赛（国赛）模块E，子任务十一：用条形图展示平均消费额最高的地区
编写Vue工程代码，根据接口，用条形图展示2020年平均消费额（四舍五入保留两位小数）最高的5个地区，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-07-24 08:00:00
462
2
原创 2024大数据职业技能竞赛（国赛）模块E，子任务十：用饼状图展示各地区的平均消费能力
编写Vue工程代码，根据接口，用饼状图展示2020年各地区订单的平均消费额，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-07-23 08:00:00
468
原创 2024大数据职业技能竞赛（国赛）模块E，子任务九：用散点图展示省份平均消费额
编写Vue工程代码，根据接口，用基础散点图展示2020年最高10个省份平均消费额（四舍五入保留两位小数），同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-07-22 08:00:00
295
原创 2024大数据职业技能竞赛（国赛）模块E，子任务八：用条形图展示消费额最高的地区
编写Vue工程代码，根据接口，用条形图展示2020年消费额最高的5个地区，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-27 21:49:53
311
2
原创 2024大数据职业技能竞赛（国赛）模块E，子任务七：用饼状图展示各地区消费能力
编写Vue工程代码，根据接口，用饼状图展示2020年各地区的消费总额占比，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-23 12:36:10
452
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务六：用柱状图展示各地区消费额的中位数
编写Vue工程代码，根据接口，用柱状图展示2020年各地区所有订单消费额的中位数（降序排列，若有小数则四舍五入保留两位），同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-20 18:38:32
655
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务五：用折柱混合图展示省份平均消费额和地区平均消费额
编写Vue工程代码，根据接口，用折柱混合图展示2020年各省份平均消费额（四舍五入保留两位小数）和地区平均消费额（四舍五入保留两位小数）的对比情况，柱状图展示平均消费额最高的5个省份，折线图展示这5个省所在的地区的平均消费额变化，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-04-14 01:46:24
727
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务四：用条形图展示平均消费额最高的省份
编写Vue工程代码，根据接口，用条形图展示2020年平均消费额（四舍五入保留两位小数）最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。需要接口数据的可以私聊！
2024-03-27 22:04:11
651
原创 2024大数据职业技能竞赛（国赛）模块E，子任务三：用折线图展示每年上架商品数量变化
编写Vue工程代码，根据接口，用折线图展示每年上架商品数量的变化情况，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-03-26 23:23:23
539
原创 2024大数据职业技能竞赛（国赛）模块E，子任务二：用柱状图展示消费额最低的省份
编写Vue工程代码，根据接口，用柱状图展示2020年消费额最低的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。2024大数据职业技能竞赛（国赛）模块E数据展现题解。
2024-03-24 13:02:48
486
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务一：用柱状图展示消费额最高的省份
编写Vue工程代码，根据接口，用柱状图展示2020年消费额最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-03-22 15:10:32
851
3
原创 Flume实时数据采集
1、 在主节点使用Flume采集实时数据生成器10050端口的socket数据（实时数据生成器脚本为主节点/data_log目录下的dj_data_gen脚本，该脚本为主节点本地部署且使用socket传输），将数据存入到Kafka的Topic中（Topic名称为order，分区数为4），使用Kafka自带的消费者消费order（Topic）中的数据，将前2条数据的结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下；
2024-01-24 03:51:04
3106
3
原创 2023大数据技能竞赛模块B数据抽取Task1_4(工业)
使用hive cli执行show partitions ods.machinedata命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下。编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:21:03
510
1
原创 2023大数据技能竞赛模块B数据抽取Task1_3(工业)
使用hive cli执行show partitions ods.producerecord命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:19:18
459
1
原创 2023大数据技能竞赛模块B数据抽取Task1_2(工业)
使用hive cli执行show partitions ods.basemachine命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:17:50
451
1
原创 2023大数据技能竞赛模块B数据抽取Task1_1(工业)
使用hive cli执行show partitions ods.changerecord命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:15:50
646
1
原创 2023大数据技能竞赛模块B数据抽取Task1_6(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-06 23:14:12
551
1
原创 2023大数据技能竞赛模块B数据抽取Task1_5(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-06 23:11:14
458
1
原创 2023大数据技能竞赛模块B数据抽取Task1_4(电商)
抽取shtd_store库中base_region的增量数据进入Hive的ods库中表base_region。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-06 23:09:00
437
3
原创 2023大数据技能竞赛模块B数据抽取Task1_3(电商)
抽取shtd_store库中base_province的增量数据进入Hive的ods库中表base_province。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-06 23:04:51
657
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人