1 概述
1.1 背景介绍
随着电商行业的蓬勃发展，海量交易数据不断产生。了解哪些品类在市场中最受消费者青睐，成为商家优化库存、制定营销策略以及平台规划布局的关键依据。
1.2 适用对象
- 企业
- 个人开发者
- 高校学生(有一定代码基础)
1.3 案例时间
本案例总时长预计30分钟。
1.4 案例流程
说明：
① 用户登录云主机；
② 打开CodeArts IDE获取项目代码;
③ 进行环境准备，配置JDK17;
④ 启动项目的前后端代码，在浏览器中进行页面结果展示。
1.5 资源总览
| 资源名称 | 规格 | 单价（元） | 时长（h） |
|---|---|---|---|
| JDK | jdk17 | 免费 | 0.5 |
| 开发者空间 - 云主机 | 鲲鹏通用计算增强型 kc2 | 4vCPUs | 8G | Ubuntu | 免费 | 0.5 |
大数据带你挖掘电商Top10热门品类 👈👈👈体验完整版案例，点击这里。
2 操作步骤
2.1 数据格式简介
本案例的数据是采集电商网站的用户行为数据，主要包含用户的4种行为：搜索、点击、下单和支付。数据格式说明如下：
（1）数据采用下划线分割字段；
（2）每一行表示用户的一个行为，所以每一行只能是4种行为中的一种；
（3）如果搜索关键字是null，表示这次不是搜索；
（4）如果点击的品类id和产品id是-1表示这次不是点击；
（5）下单行为来说一次可以下单多个产品，所以品类id和产品id都是多个，id之间使用逗号分割。如果本次不是下单行为，则他们相关数据用null来表示；
（6）支付行为和下单行为类似。
2.2 需求分析
Top10热门品类，是指产品的分类。分别统计每个品类点击的次数，下单的次数和支付的次数。先按照点击数排名，靠前的就排名高；如果点击数相同，再比较下单数；下单数再相同，就比较支付数。
计算结果格式类似：
智能手机 ，点击品类书，下单品类数，支付品类数
宠物玩具 ，点击品类书，下单品类数，支付品类数
休闲食品，点击品类书，下单品类数，支付品类数
2.3 环境准备
2.3.1 获取项目代码
1.拉取前端代码
git clone https://gitcode.com/CaseDeveloper/E-Commerce-commerce-top10-Web.git
前端部署参考案例：在云主机上进行电商项目VUE前端部署
2.拉取后端代码
git clone https://gitcode.com/CaseDeveloper/E-Commerce-commerce-top10.git
后端部署参考案例：基于云主机的CodeArts IDE运行Java电商项目
2.3.2 编写代码
1.打开CodeArts IDE for Java
2.打开工程E-Commerce-commerce-top10
3.打开项目代码
- 在工程src下datas文件夹中user_visit_action.txt是需要用到的数据。
- 在utils下Top10.java 是实现代码。
Top10.java代码如下：
package org.example.utils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.util.AccumulatorV2;
import org.example.Entity.BusinessData;
import org.example.Entity.CategoryCountInfo;
import org.example.Entity.ProductIdToNameMapEnum;
import org.example.Entity.UserVisitAction;
import scala.Tuple2;
import java.io.Serializable;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
//自定义AccumulatorV2实现类，用于累加计算品类相关的点击、下单、支付次数
class CategoryCountAccumulator extends AccumulatorV2<UserVisitAction, Map<Tuple2<String, String>, Long>> implements Serializable{
private Map<Tuple2<String, String>, Long> map1 = new HashMap<>();
// 判断是否为初始状态（即map为空）
@Override
public boolean isZero() {
return map1.isEmpty();
}
// 复制累加器实例
@Override
public AccumulatorV2<UserVisitAction, Map<Tuple2<String, String>, Long>> copy() {
CategoryCountAccumulator newACC = new CategoryCountAccumulator();
newACC.map1 = new HashMap<>(this.map1);
return newACC;
}
// 重置累加器，清空内部存储的map数据
@Override
public void reset() {
map1.clear();
}
// 处理单个分区内的数据，根据不同的业务行为（点击、下单、支付）累加相应的次数
@Override
public void add(UserVisitAction action) {
// 点击行为
if (action.getClick_category_id()!= -1) {
Tuple2<String, String> key = new Tuple2<>(action.getClick_category_id() + "", "click");
map1.put(key, map1.getOrDefault(key, 0L) + 1L);
}
// 下单行为
else if (!"null".equals(action.getOrder_category_ids())) {
String[] ids = action.getOrder_category_ids().split(",");
for (String id : ids) {
Tuple2<String, String> key = new Tuple2<>(id, "order");
map1.put(key, map1.getOrDefault(key, 0L) + 1L);
}
}
// 支付行为
else if (!"null".equals(action.getPay_category_ids())) {
String[] ids = action.getPay_category_ids().split(",");
for (String id : ids) {
Tuple2<String, String> key = new Tuple2<>(id, "pay");
map1.put(key, map1.getOrDefault(key, 0L) + 1L);
}
}
}
// 合并不同分区的累加结果
@Override
public void merge(AccumulatorV2<UserVisitAction, Map<Tuple2<String, String>, Long>> other) {
Map<Tuple2<String, String>, Long> map2 = other.value();
for (Map.Entry<Tuple2<String, String>, Long> entry : map2.entrySet()) {
Tuple2<String, String> k = entry.getKey();
Long v = entry.getValue();
map1.put(k, map1.getOrDefault(k, 0L) + v);
}
}
// 获取累加器当前的值（即存储了各品类操作次数的map）
@Override
public Map<Tuple2<String, String>, Long> value() {
return map1;
}
}
public class Top10 implements Serializable {
public static List<BusinessData> top10() {
SparkConf conf = new SparkConf().setAppName("Top10").setMaster("local[*]");
// 创建JavaSparkContext，该对象是提交的入口
JavaSparkContext sc = new JavaSparkContext(conf);
Top10 top10 = new Top10();
List<BusinessData> sparkRun = top10.sparkRun(sc);
// 9. 关闭连接
sc.stop();
return sparkRun;
}
public List<BusinessData> sparkRun(JavaSparkContext sc) {
// public static void main(String[] args) {
// 创建SparkConf
// SparkConf conf = new SparkConf().setAppName("Top10").setMaster("local[*]");
// 创建JavaSparkContext，该对象是提交的入口
// JavaSparkContext sc = new JavaSparkContext(conf);
// 后续代码部分，如数据读取、处理、累加器使用、排序取前10以及关闭连接等操作保持不变
// 1. 读取数据
JavaRDD<String> dataRDD = sc.textFile("src/datas/user_visit_action.txt");
// 2. 将读到的数据进行切分，并且将切分的内容封装为UserVisitAction对象
JavaRDD<UserVisitAction> actionRDD = dataRDD.map(line -> {
String[] fields = line.split("_");
return new UserVisitAction(
fields[0],
Long.parseLong(fields[1]),
fields[2],
Long.parseLong(fields[3]),
fields[4],
fields[5],
Long.parseLong(fields[6]),
Long.parseLong(fields[7]),
fields[8],
fields[9],
fields[10],
fields[11],
Long.parseLong(fields[12])
);
});
// 3. 创建累加器并注册
CategoryCountAccumulator acc = new CategoryCountAccumulator();
sc.sc().register(acc, "myAcc");
// 4. 遍历actionRDD，使用累加器进行统计
actionRDD.foreach(new VoidFunction<UserVisitAction>() {
@Override
public void call(UserVisitAction action) {
acc.add(action);
}
});
// 5. 获取累加器的值
Map<Tuple2<String, String>, Long> accMap = acc.value();
// 6. 对累加出来的数据按照类别进行分组
Map<String, Map<Tuple2<String, String>, Long>> groupMap = new HashMap<>();
for (Map.Entry<Tuple2<String, String>, Long> entry : accMap.entrySet()) {
Tuple2<String, String> key = entry.getKey();
String categoryId = key._1;
if (!groupMap.containsKey(categoryId)) {
groupMap.put(categoryId, new HashMap<>());
}
groupMap.get(categoryId).put(key, entry.getValue());
}
// 7. 对分组后的数据进行结构的转换为CategoryCountInfo对象
List<CategoryCountInfo> categoryCountInfoList = new ArrayList<>();
for (Map.Entry<String, Map<Tuple2<String, String>, Long>> entry : groupMap.entrySet()) {
String id = entry.getKey();
Map<Tuple2<String, String>, Long> map = entry.getValue();
long clickCount = map.getOrDefault(new Tuple2<>(id, "click"), 0L);
long orderCount = map.getOrDefault(new Tuple2<>(id, "order"), 0L);
long payCount = map.getOrDefault(new Tuple2<>(id, "pay"), 0L);
categoryCountInfoList.add(new CategoryCountInfo(id, clickCount, orderCount, payCount));
}
// 8. 将转换后的数据进行排序（降序）取前10名
categoryCountInfoList.sort((left, right) -> {
// 先按照点击次数降序比较
int clickCountCompare = Long.compare(right.getClickCount(), left.getClickCount());
if (clickCountCompare!= 0) {
return clickCountCompare;
}
// 点击次数相同，按照订单次数降序比较
int orderCountCompare = Long.compare(right.getOrderCount(), left.getOrderCount());
if (orderCountCompare!= 0) {
return orderCountCompare;
}
// 订单次数相同，按照支付次数降序比较
return Long.compare(right.getPayCount(), left.getPayCount());
});
Map<String, String> productIdToNameMap = ProductIdToNameMapEnum.INSTANCE.getProductIdToNameMap();
List<CategoryCountInfo> top10List = categoryCountInfoList.size() > 10? categoryCountInfoList.subList(0, 10) : categoryCountInfoList;
List<BusinessData> businessData = new ArrayList<>();
for (CategoryCountInfo info : top10List) {
String productName = productIdToNameMap.getOrDefault(info.getCategoryId(), info.getCategoryId());
BusinessData data = new BusinessData();
data.setCategory(productName);
data.setClickCount(info.getClickCount());
data.setOrderCount(info.getOrderCount());
data.setPaymentCount(info.getPayCount());
businessData.add(data);
// System.out.println("CategoryCountInfo(" + productName + ", " + info.getClickCount() + ", " + info.getOrderCount() + ", " + info.getPayCount() + ")");
}
// 9. 关闭连接
// sc.stop();
return businessData;
}
}
- entity下，CategoryCountInfo，ProductIdToNameMapEnum，UserVisitAction是实体类。
代码如下：
a) CategoryCountInfo类：
package com.example.entity;
import java.io.Serializable;
public class CategoryCountInfo implements Serializable {
private String categoryId;
private long clickCount;
private long orderCount;
private long payCount;
public CategoryCountInfo(String categoryId, long clickCount, long orderCount, long payCount) {
this.categoryId = categoryId;
this.clickCount = clickCount;
this.orderCount = orderCount;
this.payCount = payCount;
}
public String getCategoryId() {
return categoryId;
}
public long getClickCount() {
return clickCount;
}
public void setClickCount(long clickCount) {
this.clickCount = clickCount;
}
public long getOrderCount() {
return orderCount;
}
public void setOrderCount(long orderCount) {
this.orderCount = orderCount;
}
public long getPayCount() {
return payCount;
}
public void setPayCount(long payCount) {
this.payCount = payCount;
}
// 重写toString方法，按照期望的格式返回对象的字符串表示
@Override
public String toString() {
return "CategoryCountInfo（" +
categoryId + '，' +
+ clickCount + '，'+
+ orderCount + '，'+
+ payCount +
'）';
}
}
b) ProductIdToNameMapEnum 类（枚举类，商品分类id和商品分类的对应关系）：
package com.example.entity;
import java.util.HashMap;
import java.util.Map;
public enum ProductIdToNameMapEnum {
INSTANCE;
private final Map<String, String> productIdToNameMap;
ProductIdToNameMapEnum() {
productIdToNameMap = new HashMap<>();
productIdToNameMap.put("1", "智能手机");
productIdToNameMap.put("2", "护肤品套装");
productIdToNameMap.put("3", "运动鞋");
productIdToNameMap.put("4", "平板电脑");
productIdToNameMap.put("5", "休闲食品");
productIdToNameMap.put("6", "智能手环");
productIdToNameMap.put("7", "运动水杯");
productIdToNameMap.put("8", "儿童玩具");
productIdToNameMap.put("9", "营养补充剂");
productIdToNameMap.put("10", "家用小电器");
productIdToNameMap.put("11", "时尚外套");
productIdToNameMap.put("12", "蓝牙耳机");
productIdToNameMap.put("13", "创意家居饰品");
productIdToNameMap.put("14", "车载香水");
productIdToNameMap.put("15", "智能手表");
productIdToNameMap.put("16", "美妆工具");
productIdToNameMap.put("17", "电子游戏");
productIdToNameMap.put("18", "户外背包");
productIdToNameMap.put("19", "宠物玩具");
productIdToNameMap.put("20", "健身器材");
}
public Map<String, String> getProductIdToNameMap() {
return productIdToNameMap;
}
}
c) UserVisitAction 类：
package com.example.entity;
// 用户访问动作表对应的Java类
public class UserVisitAction {
private String date;
private long user_id;
private String session_id;
private long page_id;
private String action_time;
private String search_keyword;
private long click_category_id;
private long click_product_id;
private String order_category_ids;
private String order_product_ids;
private String pay_category_ids;
private String pay_product_ids;
private long city_id;
public UserVisitAction(String date, long user_id, String session_id, long page_id, String action_time,
String search_keyword, long click_category_id, long click_product_id,
String order_category_ids, String order_product_ids, String pay_category_ids,
String pay_product_ids, long city_id) {
this.date = date;
this.user_id = user_id;
this.session_id = session_id;
this.page_id = page_id;
this.action_time = action_time;
this.search_keyword = search_keyword;
this.click_category_id = click_category_id;
this.click_product_id = click_product_id;
this.order_category_ids = order_category_ids;
this.order_product_ids = order_product_ids;
this.pay_category_ids = pay_category_ids;
this.pay_product_ids = pay_product_ids;
this.city_id = city_id;
}
public String getDate() {
return date;
}
public long getUser_id() {
return user_id;
}
public String getSession_id() {
return session_id;
}
public long getPage_id() {
return page_id;
}
public String getAction_time() {
return action_time;
}
public String getSearch_keyword() {
return search_keyword;
}
public long getClick_category_id() {
return click_category_id;
}
public long getClick_product_id() {
return click_product_id;
}
public String getOrder_category_ids() {
return order_category_ids;
}
public String getOrder_product_ids() {
return order_product_ids;
}
public String getPay_category_ids() {
return pay_category_ids;
}
public String getPay_product_ids() {
return pay_product_ids;
}
public long getCity_id() {
return city_id;
}
}
2.3.3 编辑配置
点击右上角编辑配置。
在VM options: 配置项，添加如下配置(jdk版本高于1.8需要添加)。
--add-opens java.base/sun.nio.ch=ALL-UNNAMED
2.4 运行代码
1.点击页面右上角的执行按钮运行后端代码。
2.在命令行运行前端代码
在前端代码目录执行命令：
npm run dev
运行成功后显示如下：
3.打开页面http://localhost:3000/products，访问电商项目页面。
注册账号并登录，然后点击页面的“top10”商品按钮。
可以看到Top10热门的商品品类展示如下。
至此，电商top10热门品类挖掘实操全部完成。
354
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
