- 博客(6)
- 收藏
- 关注
RSS订阅原创 通过添加log4j.properties去掉idea中spark运行时的日志信息
【代码】通过添加log4j.properties去掉idea中spark运行时的日志信息。
2024-09-28 15:25:00
450
原创 2023大数据应用开发赛题03套
大数据应用开发高等职业教育组GZ033大数据时代背景下，电商经营模式发生很大改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。
2023-09-09 15:40:42
1882
1
原创 离线数据处理——子任务一：数据抽取
该工具类包含两个方法。loadJDBC方法负责加载mysql中的数据，appendHive方法负责将增量抽取的数据追加写入到hive的相关表中。// 负责mysql的链接和hive的写入// 加载jdbcdataframe// 增量写入hiveval db = hiveMap("db") // 确定数据库val tb = hiveMap("tb") // 确定表val partitionColumn = hiveMap.get("partitionColumn") // 确定分区列。
2023-09-01 13:50:51
4797
4
原创 2023大数据应用开发赛题02套
大数据应用开发高等职业教育组GZ033大数据时代背景下，电商经营模式发生很大改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。
2023-08-21 20:02:57
1915
2
原创 2023大数据应用开发赛题第01套
大数据应用开发高等职业教育组GZ033大数据时代背景下，电商经营模式发生很大改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。
2023-08-18 16:13:19
949
2
原创 大数据经典实战：商品热门品类TOP10-（spark实战）
这里的热门商品是从点击量的维度来看的，计算各个区域前三大热门商品，并备注上每个商品在主要城市中的分布比例，超过两个城市用其他显示。商品A100000北京21.2%，天津13.2%，其他65.6%商品P80200北京63.0%，太原10%，其他27.0%商品M40000北京63.0%，太原10%，其他27.0%商品J92000大连28%，辽宁17.0%，其他 55.0%
2023-08-18 11:17:42
561
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人