weixin_36040866的博客

目录一、环境要求二、数据准备三、需求说明四、代码实现一、环境要求IDEA中SPARK可以连接虚拟机外置HIVE可参考（IDEA中Spark连接外置hive详细步骤）Spark3.0.0；Hadoop3.2.1; HIVE3.1.2二、数据准备1 张用户行为表，1 张城市表，1 张产品表用户行为表user_visit_action：主要包含用户的 4 种行为：搜索，点击，下单，支付。数据规则如下：➢ 数据文件中每行数据采用下划线分隔数据➢ 每.

环境要求：虚拟机上hadoop集群hdfs开启 虚拟机配置hive，且hive配置metastore到mysql windows中配置hadoop环境，且IDEA中sparksql内部可运行 虚拟机防火墙关闭网上很多帖子的操作步骤过于繁琐，现总结如下：1.向pom.xml中导入maven依赖（mysql驱动、hive依赖，spark-on-hive依赖） <dependency> <groupId>mysql</g..

SPARK数据结构——累加器及广播变量

RDD分区器，支持Range/Hash/自定义

RDD序列化、闭包检测、和Kyro序列化框架详解

RDD转换算子及行动算子详细记录，附idea实操演练转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...)行动算子（Action）：触发任务的调度和作业的执行(collect)