数据挖掘 周报五

最新推荐文章于 2025-04-29 16:03:24 发布
原创 最新推荐文章于 2025-04-29 16:03:24 发布 · 138 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据挖掘 #机器学习

本文分享了对XGB、LGB及CAT等模型的调参经验，并引入随机森林模型进行对比。此外，还介绍了如何对这些模型进行融合以提高预测准确性。

理论学习：

对PPT中的特征选择方法进行学习，同时对一些PPT不太理解的东西进行较为深入学习。

实践

对之前的模型XGB，LGB，CAT进行调参，同时增加随机森林模型，也进行调参；对PPT中讲解的函数库进行实操。

下一步工作

对模型进行融合。

数据挖掘实训周报1
chenxz_的博客
04-11 1334
数据挖掘实训周报1 本阶段工作内容 一、了解甜橙金融杯大数据竞赛并报名，下载数据。 报名官网 二、配置本机环境。 因为使用的是Mac系统，所以配置环境相对简单，使用的是python3，以及使用pip3下载实训所需要用到的各种包。使用以下命令即可 sudo pip3 install numpy scipy pandas scikit-learn statsmodels matplotlib xgbo...
数据挖掘实训周报week4
salty_dong的博客
10-20 269
本周主要看了一下XGBT的相关知识。 gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一。其有三个优点，一是效果确实不错，二是即可以用于分类也可以用于回归，三是可以筛选特征。 首先gbdt 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。 gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不
数据挖掘 周报一
huangshm23的博客
09-29 420
理论学习：温习了十大经典数据挖掘算法 1. C4.5 C4.5算法是一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 在树构造过程中进行剪枝，因为某些具有很少元素的结点可能会使构造的决策树过拟合（Overfitting），如果不考虑这些结点可能会更好； 能够完成对连续属性的离散化处理； 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则
数据挖掘周报
zz9629的博客
09-29 289
文章目录第一周周报 2020.9.28理论部分实验部分TODO 第一周周报 2020.9.28 理论部分 复习了上课PPT 学习数据挖掘的基本理论知识 实验部分 配置python环境：Anaconda库 以及 Pycharm IDE 初步了解比赛网站，尝试查看数据，大致了解数据的用处以及各个数据有什么用处。 TODO 下周对一些数据进行一些重要性的排序，开始研究哪些数据有用。 ...
数据挖掘 周报三
huangshm23的博客
10-12 161
理论学习： 在baseline的基础上，研究如何进一步提升模型准确率，继续在数据提取方面下功夫： 1 利用均方差去除异常值； 2 去除了N系列中俩个没有意义的特征。 3 对loanAmnt进行分箱处理，使其数据位于较小区间。 4 更换不同模型进行测试：如SVM，神经网络等。 实践 实现了理论的学习成果，但是效果不佳。 下一步工作 目前数据提取方面暂时想不出好方法，考虑更换模型进行尝试。 ...
数据挖掘第八周周报
bai1998的博客
11-17 318
第八周周报 本周主要工作是了解赛题，进行数据分析。下面是对数据的初步分析： base_info=pd.read_csv('train/base_info.csv')#企业的基本信息 annual_report_info=pd.read_csv('train/annual_report_info.csv')#企业的年报基本信息 tax_info=pd.read_csv('train/tax_info.csv')#企业的纳税信息 change_info=pd.read_csv('train/tax_inf
数据挖掘 周报七
huangshm23的博客
11-10 180
理论学习： 重新熟悉一下数据挖掘比赛的流程，以及每个阶段的内容和常用方法： （1）数据分析阶段：数据集中特征缺失情况；可视化数据；变量分布情况。 方法：尽量利用函数，查看各变量情况。 （2）特征工程阶段：数据预处理；异常值处理；数据分箱；特征交互；特征编码；特征选择。 方法：缺失值过多，或者值都一样的特征，可以删除；均方差和箱形图；固定宽度分箱，分位数分箱，卡方分箱… （3）建模和调参阶段：模型选择；调参。 方法：贪心调参；网格调参；贝叶斯调参。 （4）模型融合阶段：模型融合。 方法：平均；投票；排序融合；
数据挖掘 周报六
huangshm23的博客
11-03 165
理论学习： 网上查找模型融合的方法，进行学习： 1 投票：采取投票制的方法，投票多者确定为最终的模型。 2 平均：取平均。稍稍改进的方法是进行加权平均。 3 Bagging：采用有放回的方式进行抽样，用抽样的样本建立子模型,对子模型进行训练，这个过程重复多次，最后进行融合。 4 Boosting：Bagging算法可以并行处理，而Boosting的思想是一种迭代的方法，每一次训练的时候都更加关心分类错误的样例，给这些分类错误的样例增加更大的权重，下一次迭代的目标就是能够更容易辨别出上一轮分类错误的样例。最终
数据挖掘 周报四
huangshm23的博客
10-20 178
理论学习： 研究了比赛各种常用的模型： XGB：梯度提升决策树模型 优点： 可以找到精确的划分条件 缺点： 计算量巨大 内存占用巨大 易产生过拟合 LGB：采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 优势： 更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可处理大规模数据 支持直接使用category特征 ANN：神经网络模型，拥有强大的容错性 实践 无。 下一步工作 对模型进行测试。 ...
数据挖掘 周报二
huangshm23的博客
10-05 207
理论学习： 1. 观看了学习资料的赛题理解baseline讲解 2. 根据论坛的资料一步步学习，知道如何实现一个较好的方案：数据分析->特征工程->建模调参->模型融合；目前学习到特征工程。 2.1 数据分析 对数据集进行查看，对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模。 了解变量间的相互关系、变量与预测值之间的存在关系。 2.2 特征工程 使用特征预处理、缺失值、异常值处理、数据分桶等特征处理方法 2.3 建模调参 使用多种在金融分控领域常用的机器学习模型，并
数据挖掘第四周周报
qq_32019707的博客
10-18 287
数据挖掘第四周周报 1、本周工作 本周主要是实现了神经神经网络在数据集上的初步运用，在经过主观降维的数据集处理以后，对测试集进行了分类，并得到了结果。如图所示： 得到了不是0.5的结果，说明神经网络的作用还是有的，但是在经过对于迭代次数的改变和训练集的改变以后，还是没有能优化到一个更好的结果，于是乎我在考虑是不是应该回过头对特征工程进行进一步的处理，于是这一周的后几天我都是在处理数据集的特征， 链接: https://zhuanlan.zhihu.com/p/43225794.在知乎和谷歌的.
基于数据挖掘技术的经营管理模式优化的实现.pdf
07-14
在现代企业管理和运营中，数据挖掘技术的应用正变得日益重要。尤其是对于养殖场等特定行业，通过数据分析来优化经营管理模式，以实现经济效益的提升，已成为了一个重要的研究课题。这篇文章详细探讨了如何基于数据...
数据挖掘专栏介绍：用 Python + 大语言模型 (LLM) 重塑电商数据价值
最新发布
kakaZhui的博客
04-29 1540
— 不止于挖掘，更要智能涌现：用 Python + 大语言模型 (LLM) 重塑电商数据价值或许你已经跟随我们之前的“零基础上手Python数据分析”专栏，掌握了 Pandas 的数据操纵、Matplotlib/Seaborn 的可视化呈现，甚至对传统的数据挖掘技术如聚类、分类、回归有了初步的了解。你可能已经能够从数据中提取信息，生成报表，甚至构建一些基础的预测模型。但是，你是否感受到了瓶颈和机遇？海量“非结构化”数据，传统方法力不从心？面对汹涌而来的用户评论、商品描述、客服聊天记录、社交媒体帖子等。
数据挖掘第八次周报
HuiFeiDeTuoNiaoGZ的博客
11-14 366
理论学习 特征交叉 合成特征 不在输入特征之列，而是从一个或多个输入特征衍生而来。通过标准化或缩放单独创建的特征不属于合成特征。合成特征包括：将一个特征与其本身或其他特征相乘（称为特征组合或特征交叉）；两个特征相除；对连续特征进行分桶，以分为多个区间分箱。 特征交叉 通过将单独的特征进行组合（相乘或求笛卡尔积）而形成的合成特征。特征组合有助于表示非线性关系。 比如这种，线性的学习器怎么划线都不能很好地分割。 cross意思是向量积，比如x3=x1x2，之后可以处理这个新建的特征组合y = b + w1x1
让你的计算机也能提供云桌面服务：搭建私有云
huangshm23的博客
09-01 1513
这里写自定义目录标题1、实验目的2、实验环境3、实验内容及过程实验参考博客： 1、实验目的 初步了解虚拟化技术，理解云计算的相关概念 理解系统工程师面临的困境 理解自动化安装、管理（DevOps）在云应用中的重要性 2、实验环境 用户通过互联网，使用微软远程桌面，远程访问你在PC机上创建的虚拟机 虚拟机操作系统 Centos，Ubuntu，或 你喜欢的 Linux 发行版，能使用 NAT 访...
易语言
huangshm23的博客
12-11 837
通过汉语进行编程的易语言
Centos7 安装go语言开发环境
huangshm23的博客
09-11 532
文章目录1、安装 VSCode 编辑器2、安装 golang2.1 安装2.2 设置环境变量2.3 创建hello world！3、安装必要的工具和插件3.1 安装Git客户端3.2 安装go的一些工具4、安装与运行go tour5、第一个包 1、安装 VSCode 编辑器 参考官方网站，按照下面命令进行安装： 首先进行安装包的下载： sudo rpm --import https://pac...
文章标题
huangshm23的博客
12-03 505
大数据技术与伦理近年来，在人们热烈讨论的话题中频繁出现大数据技术这个话题，那到底什么是大数据，又什么是大数据技术呢？以下是某些大众比较认可的大数据定义： 360百科：大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用
3D游戏设计 homework3
huangshm23的博客
09-21 390
文章目录1、简答并用程序验证1.1 游戏对象运动的本质是什么？1.2 请用三种方法以上方法，实现物体的抛物线运动。（如，修改Transform属性，使用向量Vector3的方法…）1.3 写一个程序，实现一个完整的太阳系， 其他星球围绕太阳的转速必须不一样，且不在一个法平面上。2、编程实践（1）列出游戏中提及的事物（Objects）：（2）用表格列出玩家动作表（规则表），注意，动作越少越好（3）请...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值