电商行业场景化项目分析（上）——数据清洗

最新推荐文章于 2024-07-15 20:41:21 发布

原创

最新推荐文章于 2024-07-15 20:41:21 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据分析

本文介绍了对某电商平台2019年数据的清洗过程，包括加载数据、提取业务相关数据、处理异常值（如支付时间间隔过大、负支付金额、已下架商品等），删除重复订单，创建订单折扣列，并对缺失值进行填充。清洗完成后，数据适合用于后续的分析和可视化。

本次分析的数据为某电商平台真实脱敏数据，数据格式如下：

字段名	字段说明
Id	行id
orderID	订单id
UserID	用户id
goodsID	商品id
orderAmount	订单金额
Payment	支付金额
ChanelID	KOL广告渠道id
platformType	平台类型
orderTime	订单时间
payTime	支付时间
chargeback	是否退货

加载数据

加载处理数据需要的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import warnings

plt.rcParams['font.family'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False
warnings.filterwarnings('ignore')

读取数据文件，并将行id设置为index

data = pd.read_excel('order2019.xlsx', index_col='id')
data.head()

在这里插入图片描述
查看数据结构

data.info(

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

乐无异kop

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

电商知识图谱数据清洗与预处理：提升数据质量

AI天才研究院

05-01

623

1. 背景介绍 1.1 电商知识图谱概述电商知识图谱是针对电商领域构建的知识库，它以图的形式存储商品、品牌、用户、属性、关系等实体以及实体之间的关联信息。构建电商知识图谱可以帮助电商平台更好地理解用户需求，提供更精准的商品推荐、搜索结果和个性化服务，提升用户体验和平台竞争力。

电商销售之清洗分析运营（五千万条数据），一，清洗

kakaely的博客

08-24

914

数据介绍：某电商平台2016年2月1日至2016年4月15日部分销售数据。分有两个表，一，用户行为表，五千万行数据。二，用户信息表。思路：一，清洗： 1，实验数据简化删掉一列 2，过滤掉重复值 3，根据用户行为逻辑过滤掉假客户 4，只保留用户行为表与用户信息表都有的用户清洗部分结束。 ...

参与评论您还未登录，请先登录后发表或查看评论

项目实现：电商网站日志分析平台（三：etl数据清洗）

weixin_57821489的博客

12-15

1044

本篇为第三篇，剩余请移步主页查看本篇需要eclipse 三．Etl数据清洗（1）在eclipse连接Hadoop，通过xshell进行连接，并进行Hadoop可视化（2）在eclipse创建Etl mapreduce项目（3）在eclipse进行编写NginxEtlMapper 和NginxETLDiver这两个类 NginxEtlMapper类代码： package ETL; import java.io.IOException; import org.apache.hadoop.io

某电商网站用户行为分析【已脱敏】

cuijiekun的博客

02-13

783

某电商网站访问用户行为分析【脱敏】

2021-07-12 电商比价项目数据清洗部分

weixin_45404425的博客

07-12

300

数据清洗 一、项目背景数据源：爬取得到的 “ 数据表 ” 文件夹字段说明：属性名称属性说明 date_日期 – price_价格 – title_名称 – pic_图片 – lowerPrice_最低价格 – lowerDate_最低价格日期 – current_price_当前价格 – itemurl_商品链接 – qushi_趋势 – changPriceRemark_趋势变动 – 二、分析过程，拆解项目第一步读取数据第二步

电商行业场景化项目分析（下）——数据分析

ws19920726的博客

05-24

1055

根据电商行业场景化项目分析（上）——数据清洗，我们已经将数据清理完成，接下来我们使用Python进行可视化分析。总体概览 # 1、销售GMV gmv = round(data['orderAmount'].sum()/10000, 2) # 2、成交总和 pay_sum = round(data['payment'].sum()/10000, 2) # 3、实际成交额 real_paysum = round(data[data['chargeback']=='否']['payment'].sum(

电商用户行为分析中的数据集实战项目详解 - 数据清洗、分析及可视化

最新发布

03-24

内容概要：本文围绕电商领域的用户行为分析项目，详细介绍了从数据获取、清理、预处理到数据分析和可视化的全流程操作，采用Python的Pandas和Matplotlib库实现实际案例。首先，文章介绍了数据集来源及其组成部分，并...

电商数据分析10——电商行业中的用户画像构建与数据分析应用

theskylife的博客

02-27

5997

随着电商行业的迅猛发展，企业之间的竞争日益激烈。在这样的背景下，如何准确理解和满足用户需求，成为了电商平台成功的关键。用户画像的构建，作为一种基于数据分析的技术，能够帮助电商平台精准定位用户需求，提升营销效果和用户体验，从而在竞争中占据优势。

电商数据分析12——利用数据分析优化电商平台的用户购买路径

theskylife的博客

02-28

3129

在当今数字化时代，电商平台的竞争日益激烈，用户的购买路径直接影响了销售转化率和用户体验。因此，通过数据分析优化用户购买路径成为提升电商业绩的重要手段之一。本文将探讨用户购买路径的重要性，以及如何通过数据分析来优化这一路径，从而提高销售转化率。

电商精准营销—数据清洗

m0_55885128的博客

07-15

518

本关任务：使用 python3 对实例数据中的变量做缺失值处理，梳理数据分析的流程。本关任务：对数据集的重复数据进行处理。本关任务：对数据集的异常值进行处理。

hadoop之基于某电商离线处理项目架构和实现二（ETL数据清洗）

君永夜

04-01

1217

目录 1.需求 2.详细设计３.使用idea进行MR编程 4.本机测试 5.服务器测试 6.使用hive完成最基本的统计分析 1.需求　　对CDN的点击日志数据清洗 2.详细设计　　进行MR编程，对日志文件数据进行清洗，并将清洗后的数据加载到hive外部表３.使用idea进行MR编程　　这里不进行详细的记录。项目源码链接如下：链接：https://pan...

某电商平台数据分析报告（1）

weixin_43446178的博客

04-25

3313

某电商平台数据分析报告（1）——代码部分 1.说明：撰写代码更为精进，质量更高，将多次调用的方法和参数打包为函数，一改往日代码冗长的风格。 2.1引入第三方库： import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib import seaborn as sns impor...

电商交易数据清洗和分析

qq_41666983的博客

03-27

1976

电商交易数据清洗和分析数据源：csv文件，某电商的交易数据，先需要对这部分数据进行清洗和分析工具：python（matplotlib/numpy/pandas），jupyter实现 数据清洗 加载数据分析需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt 加载数据，加载数据之前先用文本编辑器查...

excel剔除空格_10W条电商数据用Excel也能分析？

weixin_39653761的博客

12-24

475

1、业务背景某电商平台有一份2019年的销售数据，包含用户、商品、销量、订单时间，是否退款等数据。为了给2020年的平台运营提供业务指导，需对2019年的销售情况进行分析。数据为数据分析部门提取以及手动录入，可能存在错误。数据中下架商品id统一标识为PR000000。平台规定用户下单后必须在30分钟内支付，否则订单自动取消。2、理解数据数据文件名为 order2019,包含一个 sheet 工作表...

电商数据清洗

qq_57996769的博客

03-19

549

如何进行数据清洗

qq_38397646的博客

09-06

1075

如何进行数据清洗 在我国，数据分析行业为新兴行业，企业对于人才的需求量非常大，所以就业前景非常好，许多政府机构和企事业单位也有这方面的需求，所以大数据分析师是现代企业不可或缺的人才，作为一名数据分析工程师，就必须要会进行数据清洗，下面我们就来具体看看吧。 1、数据清洗 是进行数据分析和使用数据训练模型的必经之路，也是最耗费数据科学家/程序员精力的地方。这些用于数据清洗的代码有两个优点：一是由函数编写而成，不用改参数就可以直接使用。二是非常简单，加上注释最长的也不过11行。在介绍每一段代码时，Lee都给出了用

一个商品属于多个分类_电商母婴商品分析案例

weixin_39564755的博客

11-27

1763

本文将较为系统地对一个电商平台母婴商品购买的数据集进行数据分析。一、数据理解1、数据来源：天天池上的天猫淘宝母婴用品购买数据集Baby Goods Info Datatianchi.aliyun.com2、数据集中的具体字段理解，同时对每个字段按照“用户数据、产品数据、行为数据”进行分类1）表1：购买商品的数据集user_id：用户id，天猫淘宝用户的唯一标识，可以根据用户ID来判断是否是同一...

超过30分钟订单设置为失效，数据库定时任务解决方案

weixin_44598993的博客

06-14

3704

1、设置之前我们先了解一下数据库定时器：我这里就用MySQL了查看与创建查看event是否开启 : SHOW VARIABLES LIKE ‘%event_sche%’; OFF为关闭ON为打开将事件计划开启 : SET GLOBAL event_scheduler = 1; 将事件计划关闭 : SET GLOBAL event_scheduler = 0; 关闭事件任务 : ALTER...

数据清洗——初级案例整理

课题分离

07-30

6146

文章目录一、快餐数据1.1 探索数据1.1.1 数据表一共多少行数据？有多少列1.1.2 是否存在缺失值？哪个字段？1.1.3 数据去重操作1.2 描述性统计1.2.1 被下单数最多的前五的商品(item_name)有哪些？1.2.2 在item_name这列中，一共有多少商品被下单？1.2.3 商品下单总数量是多少？1.2.4 目前item_price数据类型为？如何转换为浮点数？1.2.5 在该数据集对应的时期内，收入(revenue)是多少？1.2.6 在该数据集对应的时期内，一共有多少订单？1.2.

电商广告投放效果分析数据集与可视化实战

综上所述，该资源完整覆盖了从原始数据获取、清洗预处理、统计分析、机器学习建模到结果可视化的全链条数据分析流程，特别适用于希望掌握电商广告效果评估方法的学习者和从业者。它不仅提供了实践所需的素材（数据集...