机器学习司猫白-优快云博客

原创【理解机器学习中的过拟合与欠拟合】

定义：过拟合就是模型“学得太多了”，它不仅学会了数据中的规律，还把噪声和细节当成规律记住了。这就好比一个学生在考试前死记硬背了答案，但稍微换一道题就不会了。过拟合：模型对训练数据“学得太死”，测试数据表现很差。欠拟合：模型对数据“学得太少”，训练和测试表现都不好。

2024-12-24 00:15:00 3883 21

在传统机器学习和神经网络的世界里，梯度消失（Gradient Vanishing）和梯度爆炸（Gradient Explosion）是两个让人头疼的“老大难”问题。它们听起来高大上，像是什么复杂的数学怪兽，但其实用大白话就能讲明白。想象你在教一个机器人学生读书，这家伙要么懒得动（梯度消失），要么一激动跑过头（梯度爆炸），结果就是学不好东西。今天，我就用最通俗的方式，带你彻底搞懂这两个问题是怎么回事，为什么会发生，以及科学家们是怎么“驯服”它们的。准备好了吗？咱们开始吧！要弄懂梯度消失和梯度爆炸，咱们得先搞清

2025-03-17 10:04:41 1187 8

原创从 YOLOv1 到 YOLOv2：目标检测的进化之路

你有没有想过，当你用手机拍一张照片，里面的人、车、狗是怎么被自动识别出来的？这背后靠的就是。目标检测是计算机视觉中的一个重要领域，它不仅要回答“图片里有什么”，还要告诉你“这些东西在哪里”。和。它们的名字听起来很酷——“You Only Look Once”（你只看一次），不仅名字帅，性能也很强。这篇博客将带你走进 YOLO 的世界，聊聊它们的原理、区别，以及那些听起来高大上的概念，比如 mAP、FPS、IoU 等。我们会尽量用大白话解释，并在后面深入讲解数学公式和代码实现，让你轻松看懂！

2025-03-14 14:10:42 1201 3

原创《Transformer如何进行图像分类：从新手到入门》

这篇博客将带你从零开始，了解Transformer的基本概念、它如何被应用到图像分类，以及通过一个简单的例子让你直观理解它的运作原理。假设我们要训练一个模型，区分CIFAR-10数据集中的“猫”和“狗”图片（CIFAR-10是PyTorch内置的一个小型图像数据集，包含10类32x32像素的图像）。让我们看看它是如何工作的。在最后一层，ViT取一个特殊的“分类标记”（CLS Token），通过全连接层输出10个类别的概率（CIFAR-10有10类），比如“猫”的概率是0.8，“狗”是0.1。

2025-03-13 17:43:18 1164 28

原创《高效迁移学习：Keras与EfficientNet花卉分类项目全解析》

想象一下：如果一个已经会弹钢琴的人学习吉他，会比完全不懂音乐的人快得多。因为TA已经掌握了乐理知识、节奏感和手指灵活性，这些都可以迁移到新乐器的学习中。这正是迁移学习（Transfer Learning）的核心思想——将已掌握的知识迁移到新任务中。

2025-03-12 00:00:00 663 13

原创【使用VGG进行迁移学习：超参数调节与优化技巧】

迁移学习（Transfer Learning）作为深度学习中的一种重要技术，已经广泛应用于各种视觉任务，如图像分类、目标检测等。通过利用在大规模数据集（如ImageNet）上训练的预训练模型，迁移学习能够显著提高模型在小数据集上的表现。VGG（Visual Geometry Group）是一个经典的卷积神经网络架构，广泛用于迁移学习。本文将详细介绍如何使用VGG进行迁移学习，并通过超参数调节提高模型的性能。

2025-03-11 15:06:07 705 1

原创【多层堆叠集成模型（Stacking Ensemble）详解】

堆叠集成（Stacking，简称Stacking）是一种通过训练多个不同的基学习器（Base Learners），然后再将这些基学习器的预测结果作为新特征，交给一个新的学习器（称为元学习器，Meta Learner）进行训练的集成方法。堆叠集成可以看作是一个层叠结构，其中每一层包含一个或多个模型。

2025-03-11 13:50:39 887 1

原创【深入解析VGG网络：理论、调优与ResNet对比】

参数典型值作用解析学习率0.001~0.01控制权重更新步长，过大易震荡，过小收敛慢。RMSProp/Adam可自适应调整。批量大小32~256影响梯度估计的稳定性，小批量增加随机性但需要更多内存。优化器Momentum（β=0.9）加速收敛，Adam结合动量与自适应学习率，适合非凸优化。权重初始化He正态分布针对ReLU激活，初始化权重方差为 (2/n_{\text{in}})，缓解梯度消失/爆炸。正则化惩罚大权重，防止过拟合。Dropout（rate=0.5）随机屏蔽神经元，增强泛化能力。

2025-03-10 17:46:27 1094 2

原创【深入解析Inception网络：从V1到V3的理论演进与对比，包含pytorch实现Inception模块的代码】

特性卷积分解无非对称卷积（1×3+3×1）归一化无批量归一化（BN）BN + 标签平滑优化器SGDSGD + 动量RMSProp模块设计基础Inception模块分解卷积+BN多类型模块（A/B/C）

2025-03-09 22:54:16 1283 2

原创【OpenCV图像处理基础与OCR应用】

本文将带你从基础的图像处理开始，逐步了解OCR技术的原理，并结合OpenCV实现简单的OCR预处理流程。在这个过程中，图像中的文本部分需要被提取、清晰化并转换为二值图像，再通过OCR模型识别出文字。Tesseract是一个开源的OCR引擎，支持多种语言的文字识别。OCR中的图像二值化是将图像中的所有像素值转化为黑白两色，便于后续的字符识别。高斯模糊常用于去噪，它通过卷积运算对图像进行模糊处理，去除图像中的噪点。文档图像的OCR处理首先要进行图像的预处理，确保字符区域清晰且易于识别。1.2.2 高斯模糊。

2025-03-08 22:33:58 905 1

原创【机器学习中的数据泄露：你必须知道的事】

简单来说，数据泄露就是在训练模型时，模型意外地获得了不该用的额外信息。这些信息通常是模型在预测过程中无法获取的“未来数据”或“目标信息”。一旦数据泄露发生，模型就会提前知道未来的答案，从而产生不真实的高准确率或性能表现。你可能会觉得这样没什么问题，反正模型的表现很好啊，但事实上，当这种泄露发生时，模型在真实环境中的表现通常会大打折扣，甚至完全失效。

2025-03-07 11:52:52 925 3

原创【机器学习中的“模型穿越”问题：定义、解决方法】

本质：模型通过训练数据中的“未来信息”提前“偷看答案”，破坏了时间因果性。后果：模型在训练集和验证集上表现优秀，但在真实场景中失效，导致模型过拟合并无法有效泛化到未知数据中。例如，在金融预测、销量预测、股市分析等领域，模型穿越可能导致严重的预测偏差。

2025-03-07 11:27:27 1067 1

原创【kaggle机器学习实战--降雨数据集的二分类建模，内含插值法和二分类各种评估指标的可视化详解】

通过对降雨数据集进行二分类建模，引出二分类中各种评估指标的计算和可视化，包括pr曲线，roc曲线，混淆矩阵，还拓展了插值法这个缺失值处理方法。

2025-03-06 10:07:36 1130 25

原创深入解析EfficientNet：高效深度学习网络与ResNet的对比（使用TensorFlow进行代码复现，并使用cifar10数据集进行实战）

EfficientNet是一种由Google在2019年提出的深度神经网络架构，其目标是通过优化神经网络模型的深度、宽度和分辨率来实现计算效率和准确度的平衡。它的核心理念是：通过复合缩放（Compound Scaling）方法同时优化网络的深度、宽度和输入图像的分辨率，使得网络在给定计算预算下能够达到更高的性能。

2025-03-05 00:00:00 1651 19

原创【深入OpenCV图像处理：从基础到实战应用】

在医疗影像分析、工业质检、自动驾驶等领域，OpenCV作为计算机视觉的基石工具，为图像处理提供强大支持。使用OpenCV VideoCapture实现实时视频处理。，系统讲解OpenCV核心功能，并深入解读参数配置原理。结合TensorFlow Lite开发移动端CV应用。在Kaggle数据集上复现经典CV案例。研究OpenCV源码优化关键算法。

2025-03-04 00:15:00 606 23

原创【图像处理与OpenCV：技术栈、应用和实现】

OpenCV是一个开源的计算机视觉库，它包含了丰富的图像处理和计算机视觉功能，支持多种操作系统（如Windows、Linux、macOS）和开发语言（如C++、Python、Java等）。自1999年由Intel公司发布以来，OpenCV成为了世界上最流行的计算机视觉库之一。跨平台性：OpenCV支持Windows、Linux、macOS以及移动设备的开发，甚至包括Android和iOS。丰富的功能。

2025-03-03 17:31:36 1473 10

原创【Keras图像处理入门：图像加载与预处理全解析】

本文将全面讲解如何使用Keras进行图像加载、预处理和数据增强，为深度学习模型准备高质量的图像数据。

2025-02-27 10:36:15 1720 29

原创 Python图像处理入门：如何打开图像文件及常见格式

Pillow：适合图像读取、处理和转换，支持多种格式。OpenCV：更强大的图像处理工具，适用于计算机视觉任务。Matplotlib：用于显示图像，结合其他图像处理库一起使用。：适合高阶图像处理。imageio：轻量级的图像读取和显示工具。每个库有其特点，选择最适合你的工具能让你更高效地进行图像处理。在了解如何加载图像之后，你将能进一步处理这些图像，用于神经网络训练和计算机视觉任务。希望这篇文章能帮助你更好地理解如何在 Python 中打开图像文件并进行处理。祝你在学习神经网络的路上取得进展！

2025-02-25 16:54:01 926 6

原创 XGBoost vs LightGBM vs CatBoost：三大梯度提升框架深度解析

graph TDA[数据规模] -->|>1M样本|B(LightGBM) A -->|<100K样本|C{特征类型} C -->|连续特征为主|D(XGBoost) C -->|类别特征多|E(CatBoost) B --> F{是否需要快速迭代}F -->|是| G(LightGBM+直方图) F -->|否| H(考虑CatBoost)三大框架各有千秋，实际应用中建议：优先使用LightGBM作为baseline类别特征超过30%时切换CatBoost。

2025-02-21 14:38:59 1419 4

原创使用TensorFlow构建图像分类模型的入门指南

用户友好性：直观的API设计，适合快速原型开发模块化设计：像搭积木一样组合神经网络层多后端支持：支持TensorFlow、Theano和CNTK跨平台运行：支持CPU/GPU训练，可部署于服务器、移动端等。

2025-02-18 17:23:25 506 2

原创【机器学习实战】kaggle背包价格预测--堆叠（获得铜牌代码）

分别为 LightGBM、XGBoost 和 CatBoost 定义了三个优化函数，每个函数都利用 Optuna 自动调整模型的超参数，选择最优超参数以便得到最小化的RMSE（均方根误差）作为评估指标。

2025-02-14 10:29:08 1988 22

原创探索DeepSeek：开源大模型领域的中国力量

DeepSeek的成功印证了开放协作在AI发展中的关键作用。当更多开发者能在开源地基上建造创新应用，人工智能技术才能真正服务于全人类。这个来自中国的开源力量，正在为全球AI发展提供新的解题思路。

2025-02-13 17:48:51 846 3

原创【深入探讨 ResNet：解决深度神经网络训练问题的革命性架构】

ResNet（Residual Networks）是由微软研究院的何凯明等人于2015年提出的神经网络架构。在深度神经网络中，随着层数的增加，网络的表现反而开始退化，这种现象被称为“退化问题”。为了缓解这个问题，ResNet引入了“残差块”（Residual Block）的概念。通过在网络中加入跳跃连接（skip connections），ResNet使得信息可以绕过一些层，直接传递到更深层，从而避免了梯度消失和梯度爆炸的问题。在传统的神经网络中，每一层的输出是当前输入的变换。

2025-02-12 17:30:46 1652 5

原创【深度学习入门实战】基于TensorFlow的手写数字识别实战（附完整可视化分析）

本案例使用经典的MNIST手写数字数据集，通过Keras构建全连接神经网络，实现0-9数字的分类识别。

2025-02-11 10:06:32 1104 16

原创从零开始的AI对话指南：5步掌握提示词工程精髓

提示词工程（Prompt Engineering）作为人机对话的核心技能，已成为数字时代的新型生产力工具。本文将带你系统掌握这项价值百万的对话技术。

2025-02-10 00:15:00 1221

原创 AI Prompt 提示词工程入门指南：新手小白快速上手

打造，帮助你快速掌握 Prompt 工程的基础，学会如何撰写高质量的提示词，让 AI 更精准地理解你的需求，并产出最优质的内容。你是一个资深 UI 设计师，向一个没有设计经验的人解释 Figma 和 Photoshop 的区别，并推荐适合新手的工具。当你掌握了基础的 Prompt 设计后，可以使用一些高级技巧，让 AI 的输出更加精准和符合需求。不同的 Prompt 会影响 AI 的回答质量，就像你问问题的方式不同，得到的答案也可能不同。让 AI 知道对话的背景和相关信息，以便生成更符合预期的答案。

2025-02-09 00:15:00 1183 1

原创【一文搞懂几种常用推荐算法】

协同过滤：适合用户-物品交互数据丰富的场景。矩阵分解：能处理稀疏数据，适合显式评分预测。基于内容：依赖物品特征，解决冷启动问题。NMF：适用于非负数据（如点击率、购买记录）。根据实际需求选择算法，或结合多种方法构建混合推荐系统。

2025-02-08 11:37:21 1449 15

原创【深度学习实战：kaggle自然场景的图像分类-----使用TensorFlow框架实现vgg16的迁移学习】

本次数据集来自kaggle，该数据集包括自然场景的图像。模型应该预测每个图像的正确标签。您的目标是实现分类问题的高精度。

2025-02-08 11:30:57 1126

原创标签编码和独热编码对线性模型和树模型的影响

相信大家在建模中经常会用到标签编码和独热编码，这两种不同的编码方式到底会对模型产生什么影响，本期就使用kaggle贴纸销量预测的数据集针对这两种编码方式展开研究。让我们开始探索吧。

2025-01-22 15:23:09 1236 24

原创【数据挖掘实战】房价预测

本次竞赛有 79 个解释变量（几乎）描述了爱荷华州艾姆斯住宅的各个方面，需要预测每套住宅的最终价格。数据集描述本次数据集已经上传，大家可以自行下载尝试文件说明train.csv- 训练集test.csv- 测试集- 每列的完整描述，最初由 Dean De Cock 准备，但经过轻微编辑以匹配此处使用的列名称- 根据销售年份和月份、地块面积和卧室数量的线性回归提交的基准。

2025-01-21 15:02:49 1443 29

原创【机器学习实战】kaggle 欺诈检测---使用生成对抗网络（GAN）解决欺诈数据中正负样本极度不平衡问题

【机器学习实战】kaggle 欺诈检测---如何解决欺诈数据中正负样本极度不平衡问题本篇文章是基于上次文章中提到的对抗生成网络，通过对抗生成网络生成少数类样本，平衡ok，话不多说，我们进入正题吧。

2025-01-17 16:18:00 1940 24

原创【机器学习实战】kaggle 欺诈检测---如何解决欺诈数据中正负样本极度不平衡问题

*活动发起人本次分享的是我在参与kaggle信贷欺诈竞赛中的一些心得，希望供大家批评与交流，也希望能有金融欺诈方向的大佬能够在评论区或者私信中指导我。包含各种kaggle竞赛中的机器学习实战内容，并附有源码，希望大家多来交流。

2025-01-16 17:25:29 1177 9

原创【深度学习实战】kaggle 自动驾驶的假场景分类

判断自动驾驶场景是真是假，训练神经网络或使用任何算法来分类驾驶场景的图像是真实的还是虚假的。图像采用 RGB 格式并以 JPEG 格式压缩。标签显示 (1) 真实和 (0) 虚假二元分类VGG16 是由牛津大学视觉几何组（VGG）在2014年提出的卷积神经网络（CNN）。它由16个层组成，其中包含13个卷积层和3个全连接层。其特点是使用3x3的小卷积核和2x2的最大池化层，网络深度较深，有效提取图像特征。VGG16在图像分类任务中表现优异，尤其是在ImageNet挑战中取得了良好成绩。

2025-01-15 16:17:58 1467 18

原创【PyTorch入门】使用PyTorch构建一个简单的图像分类模型

本文章使用pytorch构建了一个简单的图像分类器，主要用于熟悉torch建模的流程。

2025-01-09 10:06:24 2840 14

原创最全总结【时间序列】时间序列的预处理和特征工程

时间序列（Time Series）是按时间顺序排列的一组数据点，通常用于描述和分析随时间变化的现象。时间序列数据在许多领域中都有广泛应用，如金融市场、气象学、经济学、医学等。时间序列的预处理和特征工程是提高时间序列预测模型效果的关键步骤。通过对数据进行去趋势、去季节性、平稳化等预处理操作，可以有效减少噪声并突出数据的规律性。同时，通过滞后特征、滚动统计量、季节性特征等特征工程方法，可以更好地捕捉时间序列的动态变化。掌握这些技巧将帮助你在时间序列分析中取得更好的效果，为预测模型提供有力的支持。

2025-01-07 17:17:49 3246 8

原创【PyTorch入门】 PyTorch不同优化器的比较

优化器原理优点缺点适用场景SGD随机梯度下降实现简单，计算开销小收敛慢，容易震荡基础任务，特别是小规模训练任务Momentum加入动量加速收敛，避免局部最小值动量参数选择困难适合梯度波动较大的任务AdaGrad自适应调整每个参数的学习率自动调整学习率，适合稀疏数据学习率逐步减小，可能导致训练后期收敛缓慢处理稀疏数据（如 NLP）RMSprop使用梯度平方的指数加权平均防止学习率过早减小，适合动态任务需要调节超参数适用于非平稳目标函数，尤其是 RNN 和时间序列任务Adam。

2025-01-04 00:15:00 2006 4

原创程序员如何培养技术领导力

在现代技术发展的浪潮中，程序员不再仅仅是单纯的“代码执行者”，更有机会成为技术团队的领导者、项目的引领者以及技术蓝图的制定者。通过扎实的技术功底、团队协作精神、激励团队的能力以及战略眼光的培养，技术领导者不仅能够带领团队攻坚克难，还能为公司和行业的未来发展奠定基础。在项目的开发过程中，每个人的经验和思考方式都有不同，技术领导者要学会尊重团队成员的独特视角，并且引导大家充分讨论，提出更具建设性的方案。在项目的不同阶段，领导者可以组织技术分享会，分享自己在项目中的技术心得，帮助团队成员迅速掌握新技术、新方法。

2025-01-03 17:09:37 308 1

原创【机器学习实战】kaggle playground最新竞赛，预测贴纸数量--python源码+解析

hello，本次分享kaggle playground最新竞赛，预测贴纸数量。目标：此挑战的目标是预测不同国家/地区的贴纸销量评估：使用平均绝对百分比误差 (MAPE)评估提交的内容。

2025-01-03 10:18:50 1413

原创【PyTorch入门】常用统计函数【二】

pytorch常用统计函数

2025-01-02 10:37:55 812 6

原创【pytorch练习】使用pytorch神经网络架构拟合余弦曲线

在本篇博客中，我们将通过一个简单的例子，讲解如何使用 PyTorch 实现一个神经网络模型来拟合余弦函数。本文将详细分析每个步骤，从数据准备到模型的训练与评估，帮助大家更好地理解如何使用 PyTorch 进行模型构建和训练。

2024-12-31 17:15:50 1116 3

《高效迁移学习：Keras与EfficientNet花卉分类项目全解析》

本数据集包含3000多张图像，图像有5种花的种类，数据格式完整,非常适合进行神经网络的分类练习。

2025-03-12

【kaggle机器学习实战-降雨数据集的二分类建模，内含插值法和二分类各种评估指标的可视化详解】

降雨数据集，包含气压，温度，湿度，风力等数据。

2025-03-06

【机器学习实战】kaggle背包价格预测（堆叠的实战用法）

背包价格预测的常见数据集通常会包含与背包相关的各种特征，如品牌、颜色、材料、尺寸、功能等，以及背包的目标变量——价格。这些数据集的特点是多维度的信息可以帮助预测背包的价格，进而实现市场分析、定价优化、库存管理等多种商业用途。除了上述特征外，一些数据集还可能包含以下信息：适用人群：这一特征可以指背包适合的用户群体，如儿童、学生、运动员、户外爱好者等。适用人群的不同通常会影响价格定位，例如，专为户外探险设计的背包可能会使用更高级的材料，并配备更多专业功能，因此价格较高。而普通学生背包可能只需基本的设计和功能，价格较为平易近人。品牌：品牌的知名度和市场定位对背包的定价具有显著影响。知名品牌的背包通常定价较高，因为它们代表了更高的品质、设计感和消费者信任感。颜色与设计：颜色和设计风格往往与背包的目标消费者群体密切相关。年轻消费者可能更偏爱时尚、个性化的设计，而专业人士或运动员可能更看重背包的功能性与耐用性。材质与功能：背包的材质，如尼龙、帆布、皮革等，也会影响定价。特殊功能如防水、抗撕裂、USB充电口、内置电池等也是定价的重要考虑因素。背包的容量和是否具有额外的功能性分隔层或专

2025-02-14

使用request爬取小说简单案例

这个爬虫案例适合新手学习，使用 requests 库发送 HTTP 请求，并利用 BeautifulSoup 进行网页解析。首先，我们通过 requests.get() 发送请求获取目标小说网站的首页内容，通常首页会包含章节目录。接着，使用 BeautifulSoup 解析 HTML，找到包含章节链接的 <ul> 标签，提取所有的章节链接。然后，对于每个章节链接，发送新的请求，获取章节的详细内容。章节内容通常存放在某个 <div> 或 <p> 标签中，通过解析提取文本内容。为了避免过于频繁的请求给目标网站带来负担，每次请求之后，我们通过 time.sleep() 添加了 1-2 秒的随机延迟，模拟人类用户的访问节奏。还通过设置请求头来模拟浏览器访问，避免被反爬虫机制识别为机器人。这个简单的爬虫帮助新手了解如何使用 Python 和 BeautifulSoup 进行网页数据抓取，同时注意网站的反爬虫机制和爬取频率，确保爬虫操作符合道德和法律规范。

2025-01-22

【数据挖掘实战】房价预测

房屋数据通常包含一系列影响房屋价格的特征，例如房屋的面积、卧室数量、所在位置、周围环境、建造年份、交通便利性、学校质量等。通过分析这些特征，可以建立一个房屋价格预测模型，以帮助用户评估不同房屋的市场价值。在建立房屋价格预测模型时，通常会使用回归分析方法。最常见的方法是线性回归、岭回归、决策树回归、随机森林回归等。线性回归模型假设特征与目标变量（房屋价格）之间存在线性关系，而岭回归则通过引入正则化项来控制模型的复杂度，避免过拟合。其他更复杂的模型，如决策树回归和随机森林回归，则可以捕捉到更复杂的非线性关系。首先，我们需要从房屋数据中提取特征（如面积、楼层、房间数等）并处理缺失值。特征工程在这里非常重要，可能涉及到特征缩放、类别变量的编码（如地理位置、房屋类型等）等操作。数据预处理完成后，便可以将数据分为训练集和测试集，使用交叉验证来选择最佳的超参数，并使用训练数据来训练模型。训练完成后，模型的性能可以通过均方误差（MSE）、决定系数（R²）等指标来评估。这种模型的最终目标是，通过学习历史房屋销售数据，预测给定特征的房屋的市场价值，从而为买卖双方、投资者和房地产经纪人提供数据驱

2025-01-21

【机器学习实战】kaggle 欺诈检测-如何解决欺诈数据中正负样本极度不平衡问题

这个数据集是一个典型的欺诈检测数据集，适用于各类数据分析、机器学习和数据挖掘任务，尤其是用来训练和评估模型在金融、电子商务等领域中识别欺诈行为的能力。该数据集包含了大量的交易记录，每一条记录都包含了关于交易的不同特征，例如交易金额、时间、客户身份、购买商品类型等信息。通过对这些数据的分析，可以帮助研究人员和数据科学家训练分类模型，以区分正常交易与欺诈交易，从而提高系统在真实环境中的准确性和安全性。在实践中，欺诈检测是金融服务领域中至关重要的一项工作，尤其是信用卡支付、在线银行交易以及电子商务平台等，都可能面临欺诈风险。通过应用该数据集进行模型训练和调优，研究人员可以学习如何使用各种机器学习算法，如逻辑回归、决策树、随机森林、支持向量机（SVM）等，来提高检测系统的准确率和召回率。此外，该数据集也常常用来进行模型的性能评估，包括精度、召回率、F1值、AUC等指标，这些评估指标能够反映模型在检测欺诈交易时的实际表现。总的来说，这个欺诈检测数据集是一个非常有价值的资源，能够帮助从事数据科学、机器学习、人工智能等领域的研究人员深入理解如何构建高效的欺诈检测系统，同时也为各类实际应用提供

2025-01-16

【深度学习实战】kaggle 自动驾驶的假场景分类

本数据集是用于自动驾驶的真假场景分类数据集，文件中有训练数据图像和标签，以及测试数据图像。非常适合做图像分类的新手进行练习。

2025-01-15

《机器学习实战》-机器学习领域的Python实践指南：涵盖基础理论与实战项目

内容概要：本文献《机器学习实战》深入浅出地介绍了机器学习的基本概念、应用场景及主流算法。该文献内容详尽，涵盖了从监督学习（涵盖分类、回归两大类问题）、无监督学习以及关联规则挖掘三大类学习任务，通过实际案例（例如垃圾邮件过滤、约会网站配对、手写体识别）讲解了多种机器学习算法（如k-近邻、决策树、朴素贝叶斯和支持向量机）的原理、适用范围及其优缺点；此外，还详细讲述了关联规则学习的经典算法Apriori和FP-Growth算法，用于挖掘市场篮子分析等问题中的潜在规律；最后部分探讨了几种辅助机器学习任务的重要技术，包括PCA/SVD等维度规约技术和Hadoop/MR等大数据处理框架，帮助读者理解如何高效处理大数据环境下的学习任务。使用场景及目标：旨在为读者提供全面且易于理解和实施的知识体系，使读者能够快速入门各类主流的机器学习算法，进而解决真实世界中存在的实际问题，比如信用风险评估、精准营销等商业智能化转型问题；对于希望深入了解关联规则发掘领域的从业人员来说也是不可多得的参考资料；其他说明：书中还穿插了许多有趣的实践例子（如约会配对、国会投票模式、乐高价格预测）

2025-01-06

【机器学习实战】kaggle playground最新竞赛，预测贴纸数量-python源码+解析

本数据集主要用于预测贴纸数量的回归任务，包含约20万条训练数据，数据质量较高，适用于进行特征工程的练习和模型调优。数据集中的特征主要包括分类变量和时间变量，这为我们进行特征工程提供了丰富的素材。分类变量和时间变量的处理对提升模型性能至关重要。对于分类变量，我们可以采用多种方法进行特征编码，如独热编码（One-Hot Encoding）、标签编码（Label Encoding）或目标编码（Target Encoding）。独热编码适用于没有顺序关系的分类变量，标签编码则适用于类别之间存在某种顺序关系的变量，而目标编码通常用于高基数的类别特征，可以通过对类别进行均值替换来减少维度的同时保留信息。在时间变量方面，特征工程的重点是从时间中提取出有助于模型预测的周期性信息。例如，可以从日期中提取出年、月、日、星期几、季度等信息，甚至可以将这些特征通过正弦和余弦函数转换，以捕捉时间上的周期性变化。此外，还可以进一步提取“是否为工作日”或“是否为假期”等特征，帮助模型更好地理解周期性和季节性模式。进行时间和分类变量的特征工程时，注意避免信息泄露，特别是时间序列中的未来信息对训练数据的影响

2025-01-03

数据分析领域Pandas基础操作及应用技巧

内容概要：本文详细介绍了Python数据分析库Pandas的基础知识，涵盖了数据结构、创建方式、基本属性、运算逻辑、常见操作等方面的内容。具体涉及了Pandas的核心数据结构Series和DataFrame的创建、属性操作、数据操作（如添加新列、删除行/列）、索引与多级索引、条件筛选、查询与修改、数据处理方法（如空值处理、重复值处理、排序和随机抽样等）、索引设置、时间数据处理等多个方面的应用技巧。此外，还介绍了Pandas中的聚合与分组、数据透视表等高级功能。适合人群：初学者以及希望提升Pandas使用技能的数据分析师和技术爱好者。使用场景及目标：适用于数据分析、数据预处理等领域，帮助用户掌握Pandas的基本操作和高级特性，能够高效地完成日常数据处理任务。阅读建议：对于新手来说，建议先掌握基本的数据结构和常见的数据操作方法，逐步过渡到复杂的数据处理技巧，尤其是条件筛选、数据聚合、时间序列处理等内容。实践过程中尽量结合具体的业务场景进行操作，以便更好地理解和应用所学知识。

2024-12-31

该数据集提供了丰田汽车公司（股票代码：TM）从1980 年到2024 年的每日股票交易数据，来源于雅虎财经它提供了丰田汽车四十多年来股票表现的广泛记录，包括调整收盘价、开盘价/收盘价等

这个数据集包含了丰田汽车公司（股票代码：TM）从1980年到2024年的每日股票交易数据，数据来源于雅虎财经。作为全球领先的汽车制造商，丰田汽车的股票数据为投资者和分析师提供了一个关于公司市场表现和股价波动的全面视角。该数据集详细记录了四十多年间丰田股票的基本交易指标，包括调整后的收盘价、开盘价、最高价、最低价以及每日交易量等信息。这些数据反映了公司股票在不同时期的市场表现，为深入分析丰田公司股票的长期趋势、波动性以及市场行为提供了宝贵的历史资料。这个数据集的一个显著特点是其时间跨度长，涵盖了多种经济环境下的股市表现，从1980年代的全球经济复苏，到90年代的科技泡沫，2008年全球金融危机，直到近年来的疫情影响和市场复苏。数据的广泛性使其成为财务分析、时间序列预测和机器学习应用中的理想选择。通过对这些历史数据的分析，用户可以深入了解丰田汽车在不同经济周期中的股票表现，从而做出更为明智的投资决策或策略。此外，该数据集非常适合用于训练和测试机器学习模型，特别是在股票价格预测和市场行为建模方面。无论是进行回归分析、波动率预测，还是尝试开发基于深度学习的股票预测模型，这些数据都为研究

2024-12-31

这个数据集是一个专为初学者设计的图像分类数据集，旨在帮助学习者掌握深度学习中的图像识别任务数据集包含了大量关于碟子是否干净或脏的图像，经过精确的标签标注，确保每一张图像都得到了正确的分类

这个数据集是一个专为初学者设计的图像分类数据集，旨在帮助学习者掌握深度学习中的图像识别任务。数据集包含了大量关于碟子是否干净或脏的图像，经过精确的标签标注，确保每一张图像都得到了正确的分类。所有标签均经过人工核实，数据质量高，适合用于训练、验证和测试模型。无论您是刚入门的深度学习学习者，还是希望深入了解图像分类的开发者，这个数据集都能为您提供一个很好的起点。清晰的标签和多样化的图像样本将帮助您轻松地进行模型训练，并快速掌握深度学习图像分类的核心概念。立即下载并开始使用，提升您的深度学习技能！

2024-12-31

【机器学习实战】 kaggle贷款批准预测（使用xgboost解决正负样本不平衡问题）

Kaggle 贷款批准预测的数据集是一个典型的机器学习问题，旨在通过分析客户的个人和财务信息，预测他们是否能够获得贷款批准。该数据集的一个显著特点是它具有极度不平衡的正负样本分布，即大部分申请贷款的用户都未获得批准（负类样本），而只有少部分用户获得批准（正类样本）。这种样本不平衡的情况在实际的商业和金融领域中是非常常见的，通常会给模型的训练和评估带来很大的挑战。对于新手和初学者而言，处理这类不平衡数据集是一个非常好的练习机会，因为它可以帮助你掌握如何应对数据集中的正负样本不均衡问题。初学者不仅可以提升数据预处理、特征工程、模型选择和调优的能力，还能更好地理解和应用机器学习中处理不平衡数据的技巧和方法。此外，这类任务通常涉及到实际业务问题，帮助学习者将理论与实践结合，提升解决现实问题的能力。总之，Kaggle 贷款批准预测的数据集是一个非常适合新手练习和学习的数据集，通过对不平衡数据的处理，学习者可以掌握更多数据分析和机器学习的核心技能，同时为今后更复杂的项目打下坚实的基础。

2024-12-27

【机器学习实战】 kaggle二手车的价格预测，非常适合新手和初学者练习特征工程和数据处理

该数据集来自kaggle竞赛，训练集包含了 188,533 条二手车的信息，共有 15 个字段。数据涵盖了不同品牌和型号的汽车，提供了关于汽车的多个属性，包括品牌 (brand)、车型 (model)、生产年份 (model_year)、行驶里程 (milage)、燃油类型 (fuel_type)、发动机类型 (engine)、变速器类型 (transmission)、外部颜色 (ext_col)、内部颜色 (int_col)、事故记录 (accident)、车辆是否为清洁标题 (clean_title)、价格 (price)。用来预测二手车的价格，并且该数据集较为复杂，可以进行较为复杂的特征工程，适合新手和初学者进行练习。

2024-12-26

【深度学习实战：kaggle自然场景的图像分类-使用keras框架实现vgg16的迁移学习】

数据集，里面有7000张图像及其标签

2024-12-25

【一文搞懂：什么是集成学习-原理+python代码】

集成学习ppt

2024-12-23

机器学习实战：结合随机森林（RF）与递归特征消除和交叉验证（RFECV）进行精准特征选择，使用LightGBM与过采样技术应对极度不均衡的正负样本，并通过SHAP进行模型解释的电信客户流失预测

在这个项目中，我们将展示如何通过先进的机器学习技术来预测电信行业中的客户流失。我们首先利用随机森林（RF）算法与递归特征消除和交叉验证（RFECV）方法进行高效的特征选择，从大量特征中筛选出最具预测价值的变量。随后，结合LightGBM这一高效的梯度提升算法，搭配过采样技术解决正负样本严重不平衡的问题。最后，通过SHAP（SHapley Additive exPlanations）模型解释技术

2024-12-23

kaggle竞赛：Keras实现双层LSTM进行风暴预测 python+Keras源码

2024-12-20

【kaggle深度学习实战-保险数据集的回归-基于pytorch-Regression with an Insurance Dataset】

kaggle深度学习实战--保险数据集的回归-使用pytorch在大数据体量下进行的保单金额预测。

2024-12-20

机器学习实战kaggle-House Prices - Advanced Regression Techniques (房价高级回归)

数据集简介： Kaggle 竞赛 House Prices - Advanced Regression Techniques 是一个经典的回归问题竞赛，旨在预测房屋销售价格。竞赛中的目标是根据一系列房屋的特征（如位置、大小、年限等）预测其市场售价。这个数据集非常适合有一定机器学习基础的人，尤其是对回归问题有兴趣的学习者。数据集内容：规模：数据集包含训练集和测试集。训练集包含了房屋的特征和对应的售价标签，而测试集仅包含特征，需提交预测结果。特征：数据集中包含了约80个特征，既有数值型特征（如房屋面积、建造年份、卧室数量等），也有类别型特征（如房屋的地区、装修情况、建筑风格等）。典型的特征包括： LotArea：地块面积 OverallQual：房屋的总体质量 YearBuilt：房屋建造年份 GrLivArea：房屋的地面生活面积 GarageCars：车库车位数 ExterCond：外部装修状况 MasVnrArea：墙面装饰面积适用人群：有一定基础的学习者：该竞赛适合有一定回归分析或机器学习基础的学习者，特别是对数据科学和建模有兴趣的人。数据科学实践者：这个数据集非常适

2024-12-19

kaggle入门级竞赛Spaceship Titanic LIghtgbm+Optuna

数据集简介： Kaggle 的 Spaceship Titanic 数据集是一个针对机器学习建模的入门级竞赛，模拟太空旅行情境，任务是预测乘客是否幸存。与经典的 Titanic 数据集类似，这个数据集基于乘客的个人信息和旅行细节来进行分类预测。数据集内容：规模：包含训练集和测试集。训练集包含标签（幸存与否），测试集仅包含特征供预测。特征：包括数值型（如年龄、票价）和类别型（如性别、舱位）特征： PassengerId, Pclass, Sex, Age, SibSp, Parch, Fare, Embarked 等。适用人群：初学者：非常适合刚接触机器学习的学习者，帮助理解分类问题和模型训练。数据科学爱好者：对于想通过实践提升技能的人，这个数据集能帮助学习基本的机器学习算法和数据预处理。学生与自学者：适合进行动手训练，巩固理论知识，增强实际操作能力。适用场景：分类问题：任务是预测乘客是否幸存，适合进行二分类任务。模型训练与调优：适用于决策树、逻辑回归、随机森林、XGBoost 等机器学习算法，以及深度学习模型的训练与优化。

2024-12-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

《高效迁移学习：Keras与EfficientNet花卉分类项目全解析》

【kaggle机器学习实战-降雨数据集的二分类建模，内含插值法和二分类各种评估指标的可视化详解】

【机器学习实战】kaggle背包价格预测（堆叠的实战用法）

使用request爬取小说简单案例

【数据挖掘实战】 房价预测

【机器学习实战】kaggle 欺诈检测-如何解决欺诈数据中正负样本极度不平衡问题

【深度学习实战】kaggle 自动驾驶的假场景分类

《机器学习实战》-机器学习领域的Python实践指南：涵盖基础理论与实战项目

【机器学习实战】kaggle playground最新竞赛，预测贴纸数量-python源码+解析

数据分析领域Pandas基础操作及应用技巧

该数据集提供了丰田汽车公司（股票代码：TM）从1980 年到2024 年的每日股票交易数据，来源于雅虎财经 它提供了丰田汽车四十多年来股票表现的广泛记录，包括调整收盘价、开盘价/收盘价等

这个数据集是一个专为初学者设计的图像分类数据集，旨在帮助学习者掌握深度学习中的图像识别任务 数据集包含了大量关于碟子是否干净或脏的图像，经过精确的标签标注，确保每一张图像都得到了正确的分类

【机器学习实战】 kaggle贷款批准预测 （使用xgboost解决正负样本不平衡问题）

【机器学习实战】 kaggle二手车的价格预测，非常适合新手和初学者练习特征工程和数据处理

【深度学习实战：kaggle自然场景的图像分类-使用keras框架实现vgg16的迁移学习】

【一文搞懂：什么是集成学习-原理+python代码】

机器学习实战：结合随机森林（RF）与递归特征消除和交叉验证（RFECV）进行精准特征选择，使用LightGBM与过采样技术应对极度不均衡的正负样本，并通过SHAP进行模型解释的电信客户流失预测

kaggle竞赛：Keras实现双层LSTM进行风暴预测 python+Keras源码

【kaggle深度学习实战-保险数据集的回归-基于pytorch-Regression with an Insurance Dataset】

机器学习实战kaggle-House Prices - Advanced Regression Techniques (房价高级回归)

kaggle入门级竞赛Spaceship Titanic LIghtgbm+Optuna

空空如也

【数据挖掘实战】房价预测

该数据集提供了丰田汽车公司（股票代码：TM）从1980 年到2024 年的每日股票交易数据，来源于雅虎财经它提供了丰田汽车四十多年来股票表现的广泛记录，包括调整收盘价、开盘价/收盘价等

这个数据集是一个专为初学者设计的图像分类数据集，旨在帮助学习者掌握深度学习中的图像识别任务数据集包含了大量关于碟子是否干净或脏的图像，经过精确的标签标注，确保每一张图像都得到了正确的分类

【机器学习实战】 kaggle贷款批准预测（使用xgboost解决正负样本不平衡问题）