深度之眼比赛实战(未来销售预测)项目记录——3——基础模型Baseline

机器学习入门八步走:从数据到部署的完整项目实战指南 机器学习作为人工智能的核心技术,其本质是通过算法让计算机从数据中学习规律,从而实现对未知数据的预测或决策。其核心原理在于构建一个从输入到输出的映射函数,通过优化损失函数来调整模型参数,使其在训练数据上表现良好,并具备良好的泛化能力。这项技术的价值在于能够自动化地处理复杂模式识别任务,提升决策效率和准确性,广泛应用于金融风控、智能推荐、医疗诊断和工业预测等场景。在工程实践中,一个完整的机器学习项目遵循标准化的生命周期,涵盖从问题定义、数据收集与探索性数据分析(EDA)、数据预处理与特征工程,到模型选择、训练、 阅读详情

任务

学习时长:1/16——1/17

任务名称:特征工程的数据预处理对排名的提升

任务简介:特征工程之数据预处理

详细说明:

本节是在上一节的基础上进行新的数据预处理和数据的特征工程的方式,包括:数据清洗、数据的特征重做、以及数据特征的增加等,最后利用xgb算法去进行拟合,并预测之后得到结果。并利用kaggle的notebook来运行代码并提交结果。

通过不同的特征工程的知识进行添加可以得到不同的效果,最终的结果不是最好的,希望大家可以利用上自己的特色对其进行提高到top100

打卡截止时间:1/17

打卡

这部分,主要是在之前的基础上,进行了
特征的进一步细化和y变量的构造两部分。之前没有怎么接触过这种特征的处理方式,而且还涉及到时间特征的处理,学到了不少。
具体来说,
特征的细化主要是利用pandas进行字符串级别的操作,以将原先单独的特征分成多个可以利用的特征。如将 shops 按所处城市和商店类型细分为两类等等,同理还有item_category、item特征;
y 变量的构造主要是利用了pandas的分组和聚合等功能重新做出了题目所需要的变量:item_cnt_month这其中涉及到了对于时间的处理,比较麻烦。
接着,将得到的特征通过id整合到train文件中得到完整的数据;
最后,得到完整的数据后划分数据集并行模型学习和最后的预测,采用的还是xgboost模型。
整个过程代码用自己的笔记本跑了差一点到三个小时(13:20-16:08),到99轮结束。
在这里插入图片描述
在这里插入图片描述

二手车价格预测实战:特征工程与模型融合全解析 回归问题是机器学习中最常见的任务类型之一,其核心在于建立输入特征与连续目标变量之间的映射关系,而评估指标如平均绝对误差(MAE)直接决定了优化方向。在实际工程中,梯度提升树(GBDT)系列算法凭借对混合类型特征的良好支持和稳健的泛化能力,成为表格数据建模的首选。围绕这一技术路线,特征工程往往比模型调参更能影响最终效果,例如通过目标编码处理高基数类别特征、构造时间与里程组合特征、利用交叉验证防止信息泄露等。模型融合则通过加权平均或 stacking 将多个基学习器的预测优势叠加,进一步提升精度。在二手车价格预 阅读详情

相关推荐

供应链需求预测与分仓规划实战:从模型到调拨优化的完整方案

在供应链管理中,需求预测是库存优化的起点,而分仓规划则是将预测转化为可执行决策的关键环节。二者并非孤立任务,预测误差会通过调拨决策被放大,直接影响仓储成本、运输时效和缺货损失。本文从基础概念出发,讲解如何基于仓×SKU×天粒度构建时序特征与树模型融合方案,并引入线性规划与启发式规则解决多仓调拨问题。无论是电商补货、安全库存设定,还是仓间调拨策略,这套方法论均可复用。文章结合天池菜鸟赛题实践,拆解目标函数、约束条件与评测逻辑,帮助读者理解从业务理解到工程落地的完整链路。

weixin_33557333的博客 263

时序预测基准测试:5个经典模型构建可复现评估流程

时间序列预测本质上是建模历史依赖与业务规律的双重任务。其核心原理在于通过稳定、可解释、低维护成本的方法建立性能下限,从而量化后续模型的真实增益。技术价值体现在消除无效调参、暴露数据本质特性、支撑生产环境确定性交付;典型应用场景覆盖电商销量、电力负荷、物流时效及用户活跃度等需滚动预测的业务系统。实践中,简单移动平均(SMA)和指数平滑(ETS)作为最基础但强鲁棒性的基线,能快速揭示序列平稳性与趋势季节结构,是避免过度拟合与资源浪费的第一道标尺。

congran6617的博客 1046

天池菜鸟需求预测与分仓规划实战:时序预测+LightGBM+供应链优化全方案解析

时序预测是供应链管理中的核心问题,它通过对历史订单数据的规律挖掘,为未来的库存配置与资源调度提供决策依据。在实际业务中,需求预测的准确率直接影响仓储成本和履约效率,因此常与供应链优化技术相结合,形成完整的智能决策链路。以电商分仓规划为例,预测模型不仅要给出整体需求量,还需进一步将需求合理分配至各个仓库,这对数据处理、特征工程和算法选型都提出了更高要求。基于LightGBM等梯度提升框架,结合滞后特征与滑动窗口统计,能够有效捕捉销量波动规律;配合分仓占比优化与约束求解,可以构建一套可落地的预测-分配一体化方案

weixin_29073241的博客 270

深度之眼Python数据分析入门打卡第一天

Python应用 物理硬件性能的显著提升,语言带来的性能影响趋于减少。Python可以和其他语言各取所长,有机融合。 编程环境使用anaconda和Pycharm 6种数据类型:Number,String,List,Tuple,Sets,Dictionary(字典) ...

computer_programme的专栏 385

图学习——04.HAN(异构图注意力网络)

什么是异构图,什么是元路径,什么是HAN,怎么计算attention,节点级别的attention和语义级别的attention

m0_51474171的博客 2999

高速串行信号仿真避坑指南:为什么你的SIwave Xnet设置了却不出结果?

本文深入解析SIwave中Xnet功能在高速串行信号仿真中的常见问题,包括模型缺失、网络不完整和端口设置错误等关键误区。通过详细的电路元件模型验证、网络完整性检查及端口配置指南,帮助工程师有效解决仿真不出结果的问题,提升信号完整性分析效率。

weixin_29218963的博客 252

深度之眼比赛实战(未来销售预测)项目记录——1——赛题分析

任务 学习时长:1/13——1/14 任务名称:赛题解读以及数据下载导入、赛题的理解分析 任务简介:赛题的初步理解分析 详细说明: 本节将会赛题的背景资料的了解以及数据文件的分布以及数据的下载以及本地导入,赛题的理解分析通过对构建自己对构建特征来说有一个比较大的作用,针对于数据的解读来说比较重要的一环。 数据的解读包括数据的EDA、数据的可视化,数据的类型、数据的文件分布、数据的特征组合的一些猜测...

Robin_Pi的博客 766

2021.11.23 Covins 多机器人单目协同建图 跑Euroc数据集 更新

近日,一直在调试如何使用Covins跑通数据集,因为是初学者,所以很多bug出来的时候原理都不懂,只能复制——百度——尝试解决的过程。 现分享一下近日的结果以及与Covins作者帮助解答的一些问题。 使用代码行跑依次跑Euroc多数据集 这里的意思是使用作者提供的covins_examples文件夹中的euroc_examples_mh123_vigba.sh文件,这个文件是将三个Euroc数据集依次运行,跑完第一个数据集,第二个数据集运行的时候在第一个数据集生成地图的基础上继续绘制,由于我只下载了两个数据

qq_42614598的博客 2475

深度之眼比赛实战(未来销售预测)项目记录——2——基础模型Baseline

任务 学习时长:1/14 任务名称:特征工程以及构建baseline 任务简介:数据预处理,特征选择以及特征重做,构建baseline提交有成绩 详细说明:针对于数据的处理与特征之间的重做和上一个比赛的一样,构建baseline提交,利用自己查找到的背景资料来进行特征工程对于成绩的提高。 代码下载 链接:https://pan.baidu.com/s/19oJnAwp6vBBZa6b5-OZmCg...

Robin_Pi的博客 352

c#窗体应用(.NET Framework)项目对Yaml文件进行写入与读取,Yaml数据转换成json

用到的技术与版本准备工作Yaml数据在C#中进行定义对Yaml文件的读取与写入代码的添加窗体控件控制操作写入数据到Yaml文件读取Yaml文件数据Yaml数据转换成json改进——对yaml文件读取时根据yaml文件中的键进行获取,对c#中怎么取名字无关yaml文件中多个数据读取遇到的问题总结的小点参考的文章在对Yaml文件进行读取前,先将Yaml文件中的数据结构在c#中进行定义,以便后面更好的读取。这里对这四个类型进行举例(这里为了想看看这四个类型到Yaml文件的格式是什么样子的)

永远年轻 1587

基于Python的上市公司年报PDF文本抓取与财务风险分析系统

随着大数据时代的到来,金融数据分析已成为投资决策和风险管理的重要工具。上市公司年报包含了丰富的财务信息和经营数据,通过对这些数据的提取和分析,可以评估公司的财务状况和潜在风险。本文将详细介绍如何使用Python构建一个完整的上市公司年报文本抓取与财务风险分析系统,涵盖PDF文本提取、数据清洗、财务指标计算和风险分析等全流程。

2201_76125261的博客 312

【数据处理】使用深度学习预测未来销量

在 《【Get】用深度学习识别手写数字》 中,我们通过一个手写数字识别的例子,体验了如何使用 深度学习 + tensorflow 解决一个具体的问题。实际上,这是一个分类问题,即将输入的图片数据分成 0-9 共 10 个类别,而且我们的数据都是直接使用 MNIST 上下载的处理好的数据。 在现实生产中,我们的数据源通常来自于数据库,是没有经过预处理的,那么我们该做些什么来让这些数据库里的数据能够用...

weixin_34348111的博客 962

【unity小技巧】委托(Delegate)的基础使用和介绍

在Unity中,委托(Delegate)是一种用于处理方法回调的特殊类型。它允许您将方法作为参数传递给其他方法,并在需要时调用这些方法。委托在游戏开发中非常有用,特别是在事件处理、消息传递和异步操作方面。它提供了一种灵活的方式来注册和触发方法,而无需显式地知道这些方法的实现细节。个人理解:可以把委托理解为一个容器,容器里面放可以放很多函数方法。一调用委托,里面所有的函数方法都会同步被执行。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 7239

Predict Future Sales(时间序列)——Kaggle银牌(TOP 4%)基础方案(一):赛题背景和数据字段分析

笔者将分享一次kaggle数据竞赛的实例,包括了数据竞赛的基本套路流程:赛题业务背景分析,数据探索(EDA),特征工程,单模预测(特征重要性分析)以及stacking模型融合。 本次赛题的链接:Predict Future Sales,赛题任务是对未来的销量进行预测,属于时间序列挖掘的一类问题,数据由俄罗斯最大的软件公司:1C Company提供。 文件说明 数据集下载:dataset ...

贝壳er的博客 5392

Supreme小程序自动化抢购终端——源码架构与执行流程全解析

本系统是一套基于开发的桌面端小程序自动化抢购终端。把只有开发者能跑的脚本,包装成普通用户也能操作的桌面工具。参数自动捕获 → 商品多关键词检索 → sku/尺码/库存映射 → 多商品任务队列 → 定时/立即抢购 → 订单创建 → 支付参数拉取 → 本地服务生成支付链接 → 手机微信扫码付款这套 Supreme 抢购终端,表面上看是一个"下单工具"。但从工程角度审视,它已经具备了一个小型桌面自动化系统GUI 层:CustomTkinter 现代化界面,线程安全业务层:多商品队列、定时调度、任务编排。

猫敷雪 203

飞牛 NAS 部署 Hermes Agent 全指南:打造 24 小时在线、自我进化的 AI 智能体!

当大多数人还在把 AI 当聊天机器人使用时,我已经把它部署到了家里的飞牛 NAS 上,让它 24 小时在线工作、记忆我的习惯、自动执行任务,甚至还能不断学习新的技能。今天带你从零搭建这个真正属于自己的 AI Agent。🚀

XiaoqiangClub的博客 1228

Kaggle实战:从零到一构建零售销售时间序列预测模型

本文详细介绍了在Kaggle平台上构建零售销售时间序列预测模型的完整流程,从数据清洗、特征工程到模型选择与优化。通过实战案例展示了如何处理缺失值、设计时空特征,以及利用XGBoost等算法提升预测精度,帮助读者掌握Time Series Forecasting的核心技巧。

java2000.net 441

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

总奖金80万的中国石化AI大赛Baseline详解来啦|第一期

接下来我们挑选数据集中的某一口井的某一个层位做可视化处理,按照 x轴是时间,y轴是含水率以及日产油,如果我们把它汇聚在一起可以看到这两个曲线的整体趋势是相反的,大家可以猜一猜这两条曲线分别哪一条代表代表的是含水率,哪一条代表的是日产油?如果从可视化角度,可以看到某一口井的生产层位的含水率不会波动特别大,可能是逐步稳步上升的,所以我们在做特征工程的时候也可以考虑以某口井某个生产层为的历史含水率,直接去构建一个线性模型。首先我们在做建模的时候,一定要明确我们最终的样本,或者是我们预测的维度是什么。

AITIME_HY的博客 742

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

模型预测实战:从原理到应用,掌握时间序列与机器学习预测方法

模型预测是数据分析与决策支持中的核心环节,它基于历史数据构建数学模型,对未来状态进行量化推演。其基本原理在于识别数据中的内在规律与模式,通过统计学习或机器学习算法,将不确定性纳入可计算框架。在技术价值层面,预测模型能够为业务决策提供数据驱动的洞察,降低决策风险,优化资源配置。常见的应用场景包括销售预测、需求规划、金融风控和资源调度等。本文聚焦于时间序列预测和机器学习预测等关键方法,深入探讨了特征工程、模型评估及过拟合控制等实战技巧,并结合XGBoost等工具,提供了从数据预处理到预测区间评估的完整解决方案。

weixin_30897079的博客 490

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

机器学习基础:从概念到实战的完整指南

机器学习作为人工智能的核心技术,通过算法让计算机从数据中自主学习规律。其核心原理包括监督学习、无监督学习和强化学习三大范式,分别适用于不同场景。理解线性代数、概率统计等数学基础对掌握算法本质至关重要。在实际工程中,完整的机器学习流程包含数据清洗、特征工程、模型训练等关键环节,其中数据质量往往决定项目成败。本文通过银行理财产品购买的预测案例,演示了如何使用逻辑回归和随机森林等算法解决实际问题,特别适合刚入门的数据分析师和算法工程师参考学习。

weixin_34049948的博客 368

时间序列建模实战:从ARIMA到机器学习,掌握预测核心技能

时间序列分析是处理带有时间戳数据的核心方法,其核心原理在于识别和建模数据中的趋势、季节性和周期性等成分。这项技术的价值在于能够基于历史数据对未来状态进行可靠推断,广泛应用于金融风控、销量预测、能源管理等关键领域。在工程实践中,经典统计模型如ARIMA提供了稳健的建模基础,而现代机器学习方法如LightGBM和Prophet则能处理更复杂的模式与外部变量。通过特征工程将时间序列转化为监督学习问题,并结合模型融合策略,可以构建出鲁棒性强、预测精度高的解决方案,这正是应对数学建模竞赛和实际业务预测挑战的有效路径。

weixin_34279579的博客 387

数据驱动的生鲜零售定价补货优化:从需求预测到MILP求解实战

在供应链管理与零售运营中,需求预测与库存优化是核心挑战,尤其在生鲜这类易腐品领域。其基本原理是通过历史数据分析未来需求,并基于此制定补货与定价策略,以实现利润最大化。这项技术的价值在于将经验决策转化为数据驱动的科学决策,有效平衡销售、库存与损耗。典型的应用场景包括生鲜超市、电商平台及任何面临不确定需求与库存约束的零售业务。本文以数学建模竞赛题为背景,深入探讨了如何构建“预测-优化”耦合框架,其中运用了LightGBM进行高精度需求预测,并采用混合整数线性规划(MILP)将复杂的非线性定价问题转化为可求解的优

weixin_34072637的博客 595

电商需求预测实战:从Python代码到库存决策闭环

需求预测是供应链智能决策的核心基础,其本质是将销售时序、促销事件、库存状态等多源异构数据转化为可执行的补货指令。技术原理上需融合统计建模(如Prophet捕捉节假日效应)、机器学习(XGBoost识别促销脉冲)与业务规则(安全库存兜底),关键价值在于 bridging the gap between forecast accuracy and operational adoption——即提升补货建议采纳率而非单纯降低RMSE。典型应用场景覆盖大促备货、区域仓协同、新品冷启动及长尾SKU周转优化。本文聚焦电

weixin_33895475的博客 1336

数学建模竞赛深度复盘:从问题拆解到模型调优的通用心法

数学建模是解决复杂现实问题的核心方法,其本质是通过数学语言抽象描述问题,并利用算法模型寻找最优解。从原理上看,它融合了统计分析、优化理论与机器学习等多领域技术,通过模型构建、求解与验证的闭环流程实现问题转化。在技术价值层面,数学建模能力已成为数据分析、决策支持和科研创新的基础,能有效提升解决不确定性问题的系统思维。其应用场景广泛覆盖金融风控、供应链优化、科学研究及工业设计等领域。本文聚焦于数学建模竞赛的实战复盘,深入探讨了**模型融合**与**参数调优**等关键技术环节,为参赛者提供从问题拆解到模型优化的完

weixin_30915951的博客 332

数学建模竞赛时间序列预测:从ARIMA到机器学习实战指南

时间序列分析是处理按时间顺序排列数据的重要方法,其核心在于挖掘数据随时间变化的规律。其基本原理是通过历史数据建立模型,以预测未来趋势、识别周期或检测异常。在数据科学和预测分析领域,时间序列模型具有极高的技术价值,是实现业务预测、资源规划和风险预警的关键工具。典型的应用场景包括金融市场分析、气象预报、电力负荷预测以及流行病传播趋势研判等。本文聚焦于数学建模竞赛这一特定场景,深入探讨了如何将时间序列分析技术应用于解决竞赛中的预测问题。针对竞赛中常见的数据量有限、时间紧迫等特点,文章提供了从数据预处理、模型选型到

weixin_33834075的博客 475

粤港澳大湾区AI大赛:算法优化与商业落地的实战指南

人工智能技术正逐步从实验室走向产业应用,其中算法优化和商业落地是关键环节。通过数学模型与商业场景的结合,AI技术能够解决资源分配、销售预测等实际问题。在粤港澳大湾区这样的科技创新枢纽,AI技术的应用尤为突出。本次AI大赛聚焦数据智能和计算机视觉两大技术方向,强调技术产品化和商业价值实现。参赛团队需掌握组合优化、强化学习等技术栈,同时注重解决方案的可扩展性和模块化设计。赛事不仅为技术人才提供了展示平台,还搭建了学术界与产业界的桥梁,推动AI技术的实际应用和人才培养。

weixin_34075268的博客 296
上一篇: python数据分析——数据结构
下一篇: Python 标准数据类型
Robin_Pi
博客等级 码龄9年 2万+粉丝 632原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值