深度之眼比赛实战(未来销售预测)项目记录——1——赛题分析

从Kaggle经典赛题到实战:Rossmann销售额预测的数据探索与特征工程全解析 本文全面解析了Kaggle经典赛题Rossmann销售额预测的数据探索与特征工程实战。从数据清洗、时间序列特征挖掘到门店画像与竞争分析,详细介绍了如何通过高级特征工程技巧提升预测精度,并分享了模型优化与融合策略,为零售预测提供了实用指南。 阅读详情

任务

学习时长:1/13——1/14
任务名称:赛题解读以及数据下载导入、赛题的理解分析
任务简介:赛题的初步理解分析
详细说明:
本节将会赛题的背景资料的了解以及数据文件的分布以及数据的下载以及本地导入,赛题的理解分析通过对构建自己对构建特征来说有一个比较大的作用,针对于数据的解读来说比较重要的一环。
数据的解读包括数据的EDA、数据的可视化,数据的类型、数据的文件分布、数据的特征组合的一些猜测都在这里面会涉及到。
代码数据下载:
链接:https://pan.baidu.com/s/1PS_iY_vyTWFM5L04UTL2fA
提取码:lryb
作业名称(详解):针对于这个数据集的一些想法,如何把这么多个数据及放到一起,组合成新的数据集,网上搜集这个比赛的背景资料,写成一个报告(报告的截图也行)。
作业提交形式:
打卡内容:PPT截图或手写拍照,打卡提交.(可以只是文字提交,或图片提交,或组合都行)
打卡截止时间:1/14

打卡

1. 赛题

1.1 背景介绍

在这里插入图片描述

1.2 目标描述

在这里插入图片描述

1.3 文件说明

在这里插入图片描述
在这里插入图片描述

2. 数据初步探索

import numpy as np
import pandas as pd 

数据导入

data = pd.read_csv('sales_train.csv')
# data = pd.read_csv('test.csv')
# data = pd.read_csv('items.csv')
# data = pd.read_csv('item_categories.csv')
# data = pd.read_csv('shops.csv')

逐个查看

data.head()

sales_train.csv:

在这里插入图片描述

date_block_num 表示对月份的编码,比如一月用0表示;
item_cnt_day 表示销售数量,而我们要预测的对象就是一个月的它。

test.csv:
在这里插入图片描述
items.csv:

在这里插入图片描述
item_categories.csv:
在这里插入图片描述

shops.csv:

在这里插入图片描述
查看所有的数据后,对数据有了深一层的理解:
特征变量分为两大块:

  • name类:时间、商店、商品三个变量的具体名称
  • ID类:上面变量的编码

最终预测的变量: 按月来预测item_cnt_day

下一步要做的是就是将数据整合起来。

时间序列的读取可以采用 pandas 中的分组和聚合函数:先分导入各CSV 文件,再使用 groupby() 进行分组,agg()进行聚合。

【滚雪球学数学建模】第22.1节·特征工程与降维建模 🎓 本文收录于 《滚雪球学数学建模》专栏,本专栏专注于从零基础出发,带你循序渐进掌握数学建模的核心方法与思维路径。通过“滚雪球式”学习法,从最简单的生活化案例到经典建模工具,再到省赛、国赛真题实战演练,逐步积累知识与技能,帮助你搭建完整的建模体系。无论你是刚接触建模的新生,还是希望提升科研与竞赛能力的学者与工程师,本专栏都将为你提供一条清晰、高效、可实操的建模成长路线,助力你快速进阶,突破难点,迈向数学建模竞赛与实际应用的更高峰 🚀! 阅读详情

相关推荐

Python-Kaggle产品销售额预测比赛优胜方案

Kaggle产品销售额预测比赛优胜方案

深度之眼比赛实战(未来销售预测)项目记录——2——基础模型Baseline

任务 学习时长:1/14 任务名称:特征工程以及构建baseline 任务简介:数据预处理,特征选择以及特征重做,构建baseline提交有成绩 详细说明:针对于数据的处理与特征之间的重做和上一个比赛的一样,构建baseline提交,利用自己查找到的背景资料来进行特征工程对于成绩的提高。 代码下载 链接:https://pan.baidu.com/s/19oJnAwp6vBBZa6b5-OZmCg...

Robin_Pi的博客 352

高速设计注意事项总结——MDI篇

在以太网高速通信系统中,MDI(Medium Dependent Interface,介质相关接口)是连接物理层芯片(PHY)与传输介质(如网线)的关键接口,其设计直接影响信号完整性、传输速率和抗干扰能力。本文围绕 MDI 及 RJ45 接口电路、关键参数、设计与布线要点展开,为高速以太网设计提供参考。本文包含MDI 及 RJ45 接口电路组成、电路设计注意事项、布局布线要求等内容

qq_16237389的博客 1446

深度之眼Python数据分析入门打卡第一天

Python应用 物理硬件性能的显著提升,语言带来的性能影响趋于减少。Python可以和其他语言各取所长,有机融合。 编程环境使用anaconda和Pycharm 6种数据类型:Number,String,List,Tuple,Sets,Dictionary(字典) ...

computer_programme的专栏 385

【Simscape】用Simscape实现三维物理仿真(三)——创建一个滑块单摆系统

1 首先创建一个Simscape Multibody 模型 (方法见 【Simscape】用Simscape实现三维物理仿真(一)——创建一个自由落体小球) 2 创建四个Solid模块 (1)摆杆 Shape : Brick Dimensions : [0.1 0.05 1] m (2)摆杆轴 Shape : Cylinder Radius : 0.02 m Le...

ReadAir的专栏 9036

Informer复现 -- 完整模型

有了数据和核心的ProbAttention,接下来就可以复现完整的Informer(图1)了。图1:Informer模型结构[1]如果对图1还不太熟悉的同学,可以参考图2。由图2可知,informer与Transformer之间的差异并不大。主要区别是ProbAttention和可能的encoder最后一层的conv(源代码中用来distil)。图2:参考Transformer画的Informer模型结构。

AI_daily的博客 3492

数据挖掘——预测未来销售

数据挖掘——预测未来销售处理sale_train_v2.csv和test.csv处理shop.csv处理item_categories.csv处理items.csv特征添加 该项目来自kaggle比赛, 处理sale_train_v2.csv和test.csv 1、读取训练数据: test = pd.read_csv("./test.csv") .set_index("ID") train = p...

macan的博客 1777

EtherCAT丢包问题深度解析:从原理到实战排查指南

在工业自动化与运动控制领域,实时通讯网络的稳定性是系统可靠运行的基石。EtherCAT(以太网控制自动化技术)作为一种高性能工业以太网协议,其核心在于独特的“飞读飞写”机制和纳秒级的分布时钟同步,以实现多设备间的精准协同。然而,物理链路干扰、配置不当或硬件性能瓶颈都可能导致数据帧丢失,破坏时钟同步,进而引发伺服抖动、定位精度下降乃至生产线停机。本文聚焦于EtherCAT丢包这一典型故障,结合SSC(Slave Stack Code Tool)从站协议栈开发与实时系统调优等工程实践,系统阐述其成因、影响及一套

weixin_32050773的博客 341

kaggle学习记录(2)

本次学习记录的数据集为Predict Future Sales。地址链接 一.数据描述 目标: 将获得每日历史销售数据。 任务是在测试集上预测每个商店中出售的产品总数。 请注意,商店和产品清单每个月都会略有变化。 属性特征: ID - 表示测试集中的(商店,商品)元组的id shop_id - 表示商店的唯一id item_id - 表示商品的唯一id item_category_id - 商品类别的唯一id item_cnt_day - 销售的产品数量(预测的目标值)。 item_price - 商品的

weixin_36640822的博客 483

C#菜鸟教程学习笔记

C#菜鸟教程学习笔记 C#简介 C# 是一种编程语言,它是由微软开发的。 C# 编程是基于 C 和 C++ 编程语言的,它与 Java 也非常相似。 C# 是 .Net 框架的一部分,且用于编写 .Net 应用程序。 .Net 框架(.Net Framework)能编写出下面类型的应用程序: ①Windows 应用程序 ②Web 应用程序 ③Web 服务 常用的C# 编程的开发工具:Visual Studio(VS:可视化工作室) C#程序结构 一个 C# 程序(C# 文件的后缀为 .cs)主要包括以下部分

mlc_WTMOTW的博客 4978

集成calibre到cadence virtuoso环境中 load: can‘t access file - “/opt/eda/Mentor/lib/calibre.skl“

项目场景: 设想是将Calibre集成到cadence virtuoso中,但网上的解决办法尝试过在本机上实验都有点问题,因此想记录下来我的解决办法仅供参考。 问题描述: 安装好cadence, calibre之后打开virtuoso,CIW窗口显示 *Error* load: can't access file - "/opt/eda/Mentor/lib/calibre.skl" 问题是出在calibre.skl的加载路径出错,尝试网上的在工程目录下修改.cdsinit文件,添加calibre安装

weixin_52714276的博客 1万+

预测销售XGBoost

预测销售XGBoost

每天进步一点 2557

文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)

本文将手把手教会你使用jieba库进行中文分词和去除停用词,这是学会文本分析的必经之路!

m0_64336780的博客 4万+

第一次认真的二手车交易价格预测--赛题分析

二手车交易价格预测--赛题分析数据比赛步骤一. 赛题分析1.1 学习目标1.2 了解赛题1.2.1 赛题概况1.2.2 数据概况train.csv1.2.3 预测指标一般问题评价指标说明:1.2.4 分析赛题1.3代码解读1.3.1 导入函数工具箱1.3.2 数据读取1.4经验借鉴 数据比赛步骤 1.赛题分析 2. 数据分析 3. 特征工程 4. 建模调参 5. 模型融合 一. 赛题分析 1.1 ...

yalipf的博客 2642

蓝牙EDR模式中GFSK调制如何过渡到DPSK调制

这两份文档片段揭示了蓝牙Modem设计中非常精深的部分。它的核心思想是:通过精心的脉冲形状设计和重叠,来保证幅度连续;通过在保护间隔内执行一套复杂的“相位平滑算法”(重复、斜率保持、寻找基准点、冻结),来保证相位连续。Figure 3-2 则是将这个思想用图形化的方式展现出来,说明了脉冲在时间轴上的对齐和叠加关系。这种设计确保了发射机能够严格符合蓝牙规范的要求,实现不同调制方式之间的平滑、无毛刺切换,从而保障了通信的可靠性和高效的频谱利用率。

m0_49540263的博客 283

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

深度之眼比赛实战训练营第08次打卡

预测未来销售:赛题解读以及数据下载导入、赛题的理解分析 详细说明: 本节将会赛题的背景资料的了解以及数据文件的分布以及数据的下载以及本地导入,赛题的理解分析通过对构建自己对构建特征来说有一个比较大的作用,针对于数据的解读来说比较重要的一环。 数据的解读包括数据的EDA、数据的可视化,数据的类型、数据的文件分布、数据的特征组合的一些猜测都在这里面会涉及到。 一、赛题的数据 数据的文件以及数据的...

木柘的博客 535

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

深度之眼比赛实战(未来销售预测)项目记录——3——基础模型Baseline

任务 学习时长:1/16——1/17 任务名称:特征工程的数据预处理对排名的提升 任务简介:特征工程之数据预处理 详细说明: 本节是在上一节的基础上进行新的数据预处理和数据的特征工程的方式,包括:数据清洗、数据的特征重做、以及数据特征的增加等,最后利用xgb算法去进行拟合,并预测之后得到结果。并利用kaggle的notebook来运行代码并提交结果。 通过不同的特征工程的知识进行添加可以得到不同的...

Robin_Pi的博客 344

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

河北高校数据挖掘比赛之Task1赛题理解

今天是对二手车价格预测比赛的赛题理解,主要内容是了解赛题的数据和目标,清楚评分体系。下载数据并挂载到实验室,熟悉比赛流程。 一、了解学习目标 本次新人赛以二手车市场为背景,要求选手预测二手汽车的交易价格,这是一个典型的回归问题。其中包括数据科学库、通用流程和baseline方案学习三部分。 二、赛题概况 赛题以预测二手车的交易价格为任务,数据集报名后可见并可下载,该数据来自某交易平台的二手车交易记录,总数据量超过40w,包含31列变量信息,其中15列为匿名变量。为了保证比赛的公平性,将会从中抽取15万条作为

weixin_43356993的博客 313

Datawhale 零基础入门数据挖掘-Task1 赛题理解

v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14' 【匿名特征,包含v0-14在内15个匿名特征】一般而言,对于数据在比赛界面都有对应的数据概况介绍(匿名特征除外),说明列的性质特征。对于二类分类器/分类算法,评价指标主要有accuracy, [Precision,Recall,F-score,Pr曲线],ROC-AUC曲线。

gangyikeji的博客 1256

零基础入门数据挖掘 - 二手车交易价格预测-Task1赛题理解

目录一、赛题数据1.1 背景介绍1.2 字段表二、评判标准三、赛题相关3.1 明确目标3.2 了解赛题3.2.1 赛题概况(见1.1背景)3.2.2 数据概况(见1.2字段表)3.2.3 预测指标MAE3.2.4 分析赛题四、补充知识4.1 一般问题评价指标说明4.2 回归问题4.3 EDA4.4 他人经验附录 一、赛题数据 1.1 背景介绍   赛题以二手车市场为背景,要求选手以预测二手汽车的交...

Mia的博客 1102

零基础入门数据挖掘-Task1 赛题理解

零基础入门数据挖掘-Task1 赛题理解 xiaoyao 修改之后 一、 赛题理解 Tip:此部分为零基础入门数据挖掘的 Task1 赛题理解部分,为入门数据挖掘比赛提供一个基本的赛题入门讲解。 赛题:零基础入门数据挖掘 - 二手车交易价格预测 地址:https://tianchi.aliyun.com 1.1 学习目标 理解赛题数据和目标,清楚评分体系。 完成相应报名,下载数据和结果提交打卡...

AIHUBEI的博客 904

Datawhale 河北高校数据挖掘比赛-Task1 赛题理解

Datawhale 河北高校数据挖掘比赛-Task1 赛题理解 一、 赛题理解 赛题:零基础入门数据挖掘 - 二手车交易价格预测 1.1 学习目标 理解赛题数据和目标,清楚评分体系。 1.2 了解赛题 - 赛题概况 - 数据概况 - 预测指标 - 分析赛题 1.2.1 赛题概况 比赛要求参赛选手根据给定的数据集,建立模型,二手汽车的交易价格。 赛题以预测二手车的交易价格为任务,数据集报名后可见并可下载,该数据来自某交易平台的二手车交易记录,总数据量超过40w,包含39列变量信息,其中24列为匿名变量。

weixin_41719200的博客 435

《零基础数据挖掘》-赛题理解+数据分析+特征工程

一、赛题理解 参赛地址: 1.2.1赛题概况 赛题:零基础入门数据挖掘 - 二手车交易价格预测 1.1 学习目标 理解赛题数据和目标,清楚评分体系。 完成相应报名,下载数据和结果提交打卡(可提交示例结果),熟悉比赛流程 1.2 了解赛题 赛题概况 数据概况 预测指标 分析赛题 1.2.1 赛题概况 赛题以预测二手车的交易价格为任务,数据集报名后可见并可下载,该数据来自某交易平台的二手车交易记录...

qbm123456789的博客 1240

深度之眼比赛实战(未来销售预测)项目记录——4——一周学习任务总结

任务: 任务时长:1/19 任务简介: 温故而知新,详细总结回顾本阶段所学习内容,与同学分享自己在学习和作业中遇到的问题。 详细说明: 每第一阶段的学习任务都比较重,第一次学过之后特别容易忘,所以及时做一个要点回顾,会让学习效率大大的提升。 如果复习时还有很多不会的,一定要和小伙伴交流或询问助教和老师,不要把问题留到下一阶段。 打卡截止时间:1/19 打卡内容:图片至少1张,一周总结反思 点我打卡...

Robin_Pi的博客 568

【数据挖掘】二手车交易价格预测(一)赛题理解

目录 前情提要: 如何在天池学习、运行教程代码 一. 赛题理解 1.1 了解赛题 1.1.1 赛题概况 1.2.2 数据概况 1.1.3 预测指标 (metrics) 1.1.4 分析赛题 1.2 代码示例 1.2.1 数据读取pandas 1.2.2 分类指标评价计算示例 1.2.3 回归指标评价计算示例¶ 1.3经验总结¶ 前情提要: 如何在天池学习、运行教程代码 https://tianchi.aliyun.com/notebook-ai/hom...

7TribeZ的博客 757
上一篇: 深度之眼Kaggle比赛实战项目记录—8—一周学习任务总结
下一篇: Sklearn学习笔记(1)——数据预处理
Robin_Pi
博客等级 码龄9年 2万+粉丝 632原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值