【MapReduce 电商日志文件分析(二）】

已于 2024-06-07 21:41:22 修改
阅读量236 收藏 5
点赞数 6
文章标签： mapreduce 大数据
于 2024-06-06 20:49:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_73965413/article/details/139509445
版权

MapReduce电商日志文件分析（一）
MapReduce电商日志文件分析（三）

问题二

Mapper
正常来说，每一条数据中的第14个数据项是ip地址。我们对每一条字符串按分隔符分割，因为考虑到有的一条数据存在缺失数据，所以我们将分割后数组长度小于14的数组过滤掉。再判断 ip 是否为空，不为空则通过调用ip解析的工具类，将ip转换为对应的省份并将其作为键，Reduce统计合并。

import com.baomidou.mybatisplus.core.toolkit.StringUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class PageViewMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
   

    private static final IntWritable one = new IntWritable(1);
    private Text city = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
        // Split the input line into fields based on the delimiter
        String[] fields = value.toString().split(</
最低0.47元/天 解锁文章
demonGoth'boi
关注
【MapReduce电商日志文件分析（一）】
weixin_73965413的博客
06-05 1443
这里我们需要提取每一条数据中的ip、url、pageId、contry、province、city字段。其中ip、url 和 pageId可以直接通过字符串的处理得到。contry、province 和 city 通过定义的工具类进行处理后得到。我们需要提取每一条数据中的ip，在Map阶段使用ip解析的工具类，将每个ip对应到所属省份，将未知ip设置为默认值，得到的省份作为键，值设置为1。Map阶段，对于每一条数据，设置一个默认键（只用于标记该行），值设置为1。Reduce阶段，获得所有ip的值的和即可。
【MapReduce电商日志文件分析（三）】
weixin_73965413的博客
06-07 202
在 map 阶段，我们对每一条数据进行读取，调用编写号的 LogParser 类中的 parse 方法，对数据进行解析（即生成对应的 map 键值对，如 “ip” 对应的 ip 地址）然后调用编写好的GetPageId 类的 getPageId 方法，获取数据中的 PageId，接着使用 StringBuilder 对各个值进行拼接，拼接完成的字符串作为键，对其值设置为1。reduce 阶段无需多言，与前面的 reduce 阶段的处理逻辑一样。在这里我们需要进行ETL操作。
电商日志文件分析需求二
m0_64746195的博客
06-19 170
为什么要ETL：没有必要解析出所有数据，只需要解析出有价值的字段即可。本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city。日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）统计各个省份的浏览量 （需要解析IP）统计各个省份的浏览量 （需要解析IP）ProvinceReducer类。基于需求一构建以下几个类。使用Hadoop命令提交。也可在终端上查看结果。
Day 03-电商日志分析项目
qq_62907049的博客
06-06 980
电商日志分析，根据电商用户日志，提取关键信息，用作分析，提供决策数据
MapReduce编程案例之电商网站日志的行为分析
蔡政洁的博客
10-14 1420
目录一、需求分析二、程序编写 一、需求分析 1.网站数据分析的四个指标： PV：PageView ,浏览量 用户每打开一个网页就会被记录1次浏览量，多次打开同一个页面浏览量累计加一 UV：Unique Visitor 独立访客数 同一用户多次访问，独立访客数只算一次 VV：visitor view,访客的访问次数 同一用户完成浏览并关闭该网站时，访客的访问次数算一次 IP：独立IP数 同一IP不管访问了几个页面，独立IP数均为1 2.各个省份PV的统计： 我们的需求分析是统计网站日志文件
使用Hadoop完成对电商日志的分析-2
m0_50652491的博客
06-20 930
Hadoop是一个开源的分布式计算平台，能够对大量数据进行高效的存储和处理。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce计算模型。通过Hadoop的MapReduce，我们实现了对电商日志文件的分析，包括统计页面浏览量和各省份的浏览量。ETL过程中，我们只解析出所需的字段，提高了数据处理的效率。在实际生产环境中，可以将这些MapReduce任务定时调度，定期处理增量日志数据，实现实时的数据分析和监控。
电商日志数据分析
qq_61561587的博客
06-11 364
根据电商日志文件，分析：1 . 统计页面浏览量（每行记录就是一次浏览）2 . 统计各个省份的浏览量 （需要解析IP）3 . 日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）为什么要ETL：没有必要解析出所有数据，只需要解析出有价值的字段即可。本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city。
Day4—电商日志数据分析
weixin_61822557的博客
06-08 1299
Day4 主要完成第三问 ：日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）在本实验中，通过ETL操作对电商日志文件进行了有效处理，实现了数据的高效管理和分析。ETL操作的必要性在于它允许我们只关注和处理那些对业务分析有价值的字段，而不是解析整个日志文件的所有数据。这不仅提高了数据处理的效率，还减少了存储和计算资源的消耗。
基于mapreduce的气候分析系统设计与实现
Candy5204的博客
06-12 910
标题:基于mapreduce的气候分析系统设计与实现内容:1.选题依据 1.1.选题背景 随着全球气候变化问题日益严峻，气候数据的分析与研究变得至关重要。气候数据具有海量、多源、异构等特点，传统的数据处理技术在处理如此大规模的气候数据时面临着效率低下、计算能力不足等问题。例如，气象卫星每天会产生数以PB级别的观测数据，包括温度、湿度、气压等多个维度的信息。而这些数据的有效分析对于气候模型的建立、气象灾害的预测以及环境保护政策的制定都有着关键作用。MapReduce作为一种分布式计算模型，能够将大规模数据处理
Hadoop 003 — JAVA操作MapReduce入门案例
最新发布
陌殇殇的博客
06-13 238
JAVA操作MapReduce入门案例分词统计
浅谈MapReduce--基本操作
qq_55168827的博客
06-12 459
本文介绍了Hadoop伪分布式模式及MapReduce编程模型的应用。伪分布式模式是在单机上模拟多节点集群的运行方式，适合开发调试。重点演示了WordCount程序的运行流程：启动HDFS/YARN服务，准备输入数据，执行MapReduce任务（单词统计），最后查看输出结果。其中Map阶段拆分文本，Reduce阶段合并统计，结果存储在HDFS输出目录。运行需注意输出目录不能预先存在，提供两种解决方案。通过该示例完整展现了Hadoop处理大数据的基本工作流程。
基于mapreduce的气候分析系统
Candy5204的博客
06-12 865
标题:基于mapreduce的气候分析系统内容:1.摘要 随着全球气候变化问题日益严峻，对气候数据进行高效分析变得至关重要。本研究的目的是构建一个基于MapReduce的气候分析系统，以实现对大规模气候数据的快速处理和有效分析。方法上，利用MapReduce并行计算模型，结合Hadoop分布式文件系统（HDFS）存储气候数据，通过编写Map和Reduce函数对数据进行处理。在处理包含多年气象观测记录的大规模气候数据集时，该系统展现出了显著优势，数据处理速度相较于传统串行处理方式提升了约80%。研究结果表明，
CentOS7下的大数据集群（Hadoop生态）安装部署
2401_83224865的博客
06-10 942
通过以上步骤，可构建一个稳定可靠的 Hadoop 大数据集群，支持海量数据的存储与计算。生产环境中需注意定期备份 NameNode 元数据（文档段落：），并根据业务流量动态调整节点资源。参考官方文档（）可进一步学习 HA 集群配置、安全认证等高级特性。
Hive 序列化与反序列化：数据的 “打包“ 与 “拆箱“ 艺术
HENANwuyanzu66的博客
06-13 711
想象一下：你要把一只活蹦乱跳的兔子从北京快递到上海，直接扔箱子里肯定不行 —— 对象在内存里是 "活物"，但要存硬盘、走网络就得先 "打包" 成字节流。这就是序列化的核心使命！
深入剖析Debezium：CDC领域的“数据魔法棒”
m0_71836706的博客
06-10 1082
目前，市面上已经涌现出了许多优秀的 CDC 中间件，它们各具特色和优势，为企业提供了丰富的选择。比如阿里巴巴开源的 Canal，它通过模拟 MySQL 主从复制的原理，从 MySQL 的二进制日志（binlog）中解析出数据变更信息，实现了高效的数据捕获和同步。Canal 在国内拥有广泛的用户群体，尤其是在一些对数据一致性要求较高的互联网企业中得到了大量应用。
微服务架构下大型商城系统的事务一致性攻坚：Saga、TCC与本地消息表的实战解析
万米商云的博客
06-11 1494
在微服务拆分的商城系统中，分布式事务一致性不再是纯技术命题，而是业务连续性的核心保障。真正的架构艺术，是在分布式世界的复杂性中，重建秩序与信任的桥梁。
RabbitMQ缓存详解：由来、发展、核心场景与实战应用
m0_66884848的博客
06-13 738
RabbitMQ消息缓存技术解析 本文全面介绍RabbitMQ作为消息缓存的核心技术和应用场景。首先分析其金融行业背景和基于AMQP协议的发展历程。重点对比了RabbitMQ与传统缓存(如Redis)的区别，详细解析其内存管理、持久化策略等核心机制。通过广告系统解耦、秒杀流量削峰等典型场景，展示RabbitMQ的实际应用价值。文章还提供了Spring Boot整合RabbitMQ的实战配置，包括生产者确认、消费者ACK等可靠消息实践。最后探讨了惰性队列、集群部署等高级优化方案，帮助开发者平衡性能与可靠性。
【kafka】消息模型与工作原理详解
m0_74749240的博客
06-11 844
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，最初由 LinkedIn 公司开发，并于 2011 年开源。它以高吞吐量、可扩展性、持久性和容错性著称，被广泛应用于日志收集、消息系统、用户活动跟踪、运营指标监控、流式处理等场景。Kafka 能够处理海量数据，并使数据能够被多个消费者同时读取，在大数据生态系统中占据着重要地位。
HBase学习：通俗易懂的实例解析
GX_0824的博客
06-09 1121
HBase学习：通俗易懂的实例解析
mapreduce电商平台热门商品趋势分析
01-03
### 使用MapReduce实现电商平台热门商品趋势分析 #### 数据准备 为了执行此操作，需先收集并整理来自电商平台上关于销售记录的日志文件。这些日志通常包含了时间戳、用户ID、商品ID以及购买数量等信息。确保数据集已清洗完毕，并存储于分布式文件系统如HDFS中。 #### Map阶段设计 Mapper函数负责处理输入键值对流中的每一项记录，在本案例里即每条交易明细。对于每一个订单详情，提取出日期（或周/月）、商品编号作为新的key；而value则设定为该次购买的数量或其他权重指标。这一步骤旨在聚合相同时间段内同一产品的销量情况[^1]。 ```java public class HotProductTrendMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] line = value.toString().split(","); // 假设line[0]=date, line[1]=product_id, line[2]=quantity String dateProductId = line[0].substring(0,7)+"_"+line[1]; // 取年份月份组合成唯一标识符 int quantity = Integer.parseInt(line[2]); word.set(dateProductId); context.write(word, new IntWritable(quantity)); } } ``` #### Reduce阶段设计 Reducer接收由mapper产生的中间结果——按特定周期分组的商品及其对应的总销量。在此基础上计算平均数、最大最小值或是其他统计量来衡量热度变化规律。最终输出的结果可以是按照不同维度排序后的列表形式，便于后续可视化展示或进一步挖掘潜在模式。 ```java public class HotProductTrendReducer extends Reducer<Text,IntWritable,Text,DoubleWritable> { protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { double sum = 0; long count = 0; for (IntWritable val : values){ sum += val.get(); ++count; } DoubleWritable result = new DoubleWritable(sum / count); // 计算均值表示流行度 context.write(key,result); } } ``` 通过上述方法构建的MapReduce作业能够有效地帮助理解一段时间范围内哪些产品更受消费者欢迎，从而辅助决策者制定营销策略或者调整库存管理方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值