Machine Learning:General Guide

最新推荐文章于 2025-12-15 17:02:56 发布
原创 最新推荐文章于 2025-12-15 17:02:56 发布 · 786 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型

image-20250212142120449

文章目录

模型偏差(Model Bias)

模型偏差可能会影响模型训练,如果模型过于简单,所得到的函数集合过小,会让真正可以让损失变低的函数不在可描述的函数范围里,这种情况下,即使找到一个最好的参数,也任然因为这个模型被局限,损失还是不够理想.

image-20250212142902187

为了解决模型偏差,可以重新设计一个模型，给模型更大的灵活性.以预测视频未来观看人数为例:

  1. 可以增加输入的特征，本来输入的特征只有前一天的信息，假设要预测接下来的观看人数，用前一天的信息不够多，用7天前的信息，模型的灵活性就比较大了.

  2. 也可以用深度学习，增强模型的深度.

image-20250212143556365

所以如果模型的灵活性不够大，可以增加更多特征，可以设一个更大的模型，可以用深度学习来增加模型的灵活性，这是第一个可以的解法.但是并不是训练的时候， 损失大就代表一定是模型偏差，当增加灵活性之后效果不显著,甚至没效果,那就要考虑是不是优化上出了问题.

优化问题(Optimization)

在优化时,我们一般只用到梯度下降算法,然而这种算法存在局限性,比如可能只能找到局部最优解,而无法找到一个全局最优解.

image-20250212163714616

因为这个原因,就算我们的模型灵活性足够大,因优化问题,我们也无法找到真正损失最低的参数,即使它就包含在函数集合可以找到的范围内.

判断训练时问题出在哪里?

找不到一个损失低的函数，到底是因为模型的灵活性不够，海里面没有针.还是模型的灵 活性已经够了，只是优化梯度下降不给力，它没办法把针捞出来?

通过比较不同的模型来判断模型现在是否足够大,当看到一个没有做过的新问题时,可以先跑一些比较小,比较浅的模型,再与深的模型比较,如果深的模型明明灵活性比较 大，但损失却没有办法比浅的模型压得更低代表说优化有问题，梯度下降不给力，因此要有一 些其它的方法来更好地进行优化.

过拟合(Overfitting)

过拟合指的是在训练数据上面的损失小，测试数据上的损失大,更规范的说法是指机器学习模型在训练数据上表现得过于优秀，以至于它捕捉到了训练数据中的噪声和细节，而不是数据的一般性模式.这导致模型在未见过的测试数据或新数据上的泛化能力较差，表现为测试集上的性能显著低于训练集上的性能

image-20250212165620523

数据增强

第一个解决方法是往往是最有效的方向，即增加训练集.因此如果训练集，蓝色的点变多了， 虽然模型它的灵活性可能很大，但是因为点非常多，它就可以限制住，它看起来的形状还是会很像，产生这些数据背后的 2 次曲线.数据增强（data augmentation）这个方法并不算是简单的使用了额外的数据,要根据对数据的特性以及要处理的问题的理解，来选择合适的数据增强的方式,例如将训练集里的图片左右翻转或放大截取.

image-20250212165854005

限制模型

另外一个方法是给模型一些限制，让模型不要有过大的灵活性.假设 x 跟 y 背后的关系 其实就是一条 2 次曲线，只是该 2 次曲线里面的参数是未知的,无法根据两点观得全貌.如图所示，要如何限制模型取决于对这个问题的理解.因为这种模型是自己设计的，设计出不同的模型，结果不同.对模型做出限制后,虽然说只给了 3 个点，但是因为能选择的函数有限，可能就会更容易选到跟真正的分布比较接近的函数，在测试集上得到比较好的结果.需要注意的是,如果给出的限制过多,会让模型产生模型偏差的问题,此时问题就不再是过拟合了.

image-20250212170213312

对模型进行限制的常用方法如下:

  1. 给模型比较少的参数.如果是深度学习的话，就给它比较少的神经元的数量，本来每层 一千个神经元，改成一百个神经元之类的，或者让模型共用参数，可以让一些参数有一 样的数值.全连接网络（fully-connected network）其实是一个比较有灵活性的架构， 而卷积神经网络（Convolutional Neural Network，CNN）是一个比较有限制的架构.CNN 是一种比较没有灵活性的模型，其是针对图像的特性来限制模型的灵活性.所 以全连接神经网络，可以找出来的函数所形成的集合其实是比较大的，CNN 所找出来 的函数，它形成的集合其实是比较小的，其实包含在全连接网络里面的，但是就是因为 CNN 给了，比较大的限制，所以 CNN 在图像上，反而会做得比较好.

  2. 用比较少的特征，本来给 3 天的数据，改成用给两天的数据，其实结果就好了一些.

  3. 还有别的方法，比如早停（early stopping）、正则化（regularization）和丢弃法（dropout method）

不匹配(Mismatch)

通常指的是模型在其训练数据和测试数据之间存在某种差异或不一致，导致模型的泛化能力下降.这种不匹配可以出现在多个层面，包括数据分布、特征表示、任务目标等方面.不匹配跟过拟合其实不同，一般的过拟合可以用搜集更多的数据来克服，但是不匹配是 指训练集跟测试集的分布不同，训练集再增加其实也没有帮助了.

image-20250212170836395

Apache Spark and Machine Learning: A Comprehensive Guide to MLib
AI天才研究院
12-22 104
1.背景介绍 Apache Spark is a powerful open-source distributed computing system that is widely used for big data processing. It provides a fast and flexible engine for data processin
Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-27 1万+
​ Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读 目录 《Multimodal Machine Learning: A Survey and Taxonomy》翻译与解读 Abstract 1 INTRODUCTION 2 Applications: a historical perspective应用：历史视角 3 Multimodal Representations多模态表示 3
zz[读书笔记]《Interpretable Machine Learning》
chenxuanhanhao的专栏
07-29 1994
[读书笔记]《Interpretable Machine Learning》 Jul 19, 2019 看到这本书，特意翻了下微博妖僧老冯_之前的一条微博，这样写道：“在机器学习里，Explainable 和 Interpretable 是不一样的。Explainable ML指的是构建另一个模型来解释一个黑盒模型，而Interpretable ML指的是模型本身在设计的时候就具备解释自己的功...
Coursera吴恩达机器学习专项课程01：Supervised Machine Learning: Regression and Classification笔记 Week01
阿正的梦工坊
02-25 2383
Supervised Machine Learning: Regression and Classification第一周的课程笔记
Coursera | Mathematics for Machine Learning 专项课程 | Linear Algebra
NJ_Xavier的博客
01-09 3547
本文为学习笔记，记录了由Imperial College London推出的Coursera专项课程——Mathematics for Machine Learning中Linear Algebra中全部Programming Assignment代码。
机器学习(Machine Learning)&深度学习(Deep Learning)资料 <2>
yangminggg 的博客
10-26 1412
    机器学习(Machine Learning)&amp;深度学习(Deep Learning)资料(Chapter 2)   《Image Scaling using Deep Convolutional Neural Networks》 介绍:使用卷积神经网络的图像缩放. 《Proceedings of The 32nd International Conference on M...
69、Learnable Encryption with Deniability: Protecting User Privacy in Cloud Machine Learning
r7s8t的博客
07-20 52
本文介绍了可否认学习加密（Learnable Encryption with Deniability，LED），一种在云机器学习中保护用户隐私的新方法。LED结合了可学习加密和可否认加密技术，不仅防止云服务提供商（CSP）获取用户数据，还能在面对外部强制者时保护用户的真实行为。此外，文章还提出了一种通过多模型预测提高预测准确性的方法，并通过实验验证了该方法的有效性。研究结果表明，LED能够在保证机器学习性能的同时有效保护用户隐私，为未来云机器学习中的隐私保护提供了新的思路。
机器学习实用指南_机器学习方法：实用指南
cumi7754的博客
07-16 729
机器学习实用指南by Karlijn Willems 通过Karlijn Willems 机器学习方法：实用指南 (How Machines Learn: A Practical Guide) You may have heard about machine learning from interesting applications like spam filtering, optical ...
(转) Deep Reinforcement Learning: Playing a Racing Game
a1424262219的博客
10-08 320
Byte Tank Posts Archive Deep Reinforcement Learning: Playing a Racing Game OCT 6TH, 2016 Agent playing Out Run, session 201609171218_175epsNo time limit, no traffic, ...
Applications of MATLAB Optimization Algorithms in Machine Learning: Case Studies and Practical Guide
Introduction to Machine Learning and Optimization Algorithms Machine learning is a branch of artificial intelligence that endows machines with the ability to learn from data, thus enabling them to ...
A_Comprehensive_Guide_to_Machine_Learning.pdf
03-01
prehensive course guide in order to share our knowledge with students and the general public, and hopefully draw the interest of students from other universities to Berkeley’s Machine Learning ...
Deep Learning: A Practitioner's Approach
08-11
Dive into machine learning concepts in general, as well as deep learning in particular Understand how deep networks evolved from neural network fundamentals Explore the major deep network ...
肝硬化患者肝功能分级临床预测模型：基于机器学习的多变量分析
huanghm88的专栏
12-11 205
摘要 本研究基于128例肝硬化患者的34项临床指标，采用机器学习方法构建肝功能分级预测模型。通过XGBoost、随机森林等多种算法比较，发现XGBoost模型表现最优，预测准确率达86.5%，AUC值0.89。研究确定了总胆红素、白蛋白等10个关键预测因子，为临床肝功能评估提供了新的辅助工具。该模型整合了多维临床数据，较传统Child-Pugh评分更具综合性，有助于优化肝硬化患者的个体化诊疗决策。未来需扩大样本量进行多中心验证，进一步完善模型性能。 关键词：肝硬化；肝功能分级；机器学习；预测模型；XGBoo
【技术人如何用爬虫+机器学习识别并屏蔽恶意广告】第1课：爬虫与广告反欺诈入门
weiliang_Handan的博客
12-14 756
本文介绍了广告欺诈的现状及其危害，并提出了利用网络爬虫和机器学习技术进行反欺诈的解决方案。主要内容包括：1)网络爬虫的基本原理和工作流程；2)常见广告欺诈类型及其对行业的负面影响；3)系统化的反欺诈学习路径，从数据采集、预处理到模型训练和系统部署。通过构建自动化识别系统，可有效保护广告预算、优化投放策略并提升用户体验。文章还包含了一个简单的Python爬虫示例代码，帮助读者初步了解数据采集技术。
机器学习基础（线性，逻辑回归）
lyx2870657588的博客
12-11 1495
本文介绍了两种常用的回归分析方法及其应用。线性回归部分详细讲解了模型参数、API使用方法和评估指标，通过广告投入与销售额的案例展示了模型建立、训练和预测的全过程。逻辑回归部分重点阐述了其在分类任务中的应用，包括数据预处理、模型训练和性能评估方法，以信用卡欺诈检测为例演示了分类模型的实现步骤。文章还系统介绍了混淆矩阵、精确率、召回率和F1值等模型评价指标的计算方法和适用场景，为机器学习实践提供了完整的技术参考框架。
Day37 深入理解SHAP图
最新发布
weixin_47193046的博客
12-15 552
年龄+0.02影响很小，把模型的决策分解到每个特征上。基准值 = 没有任何特征信息时的"默认"预测(相当于"0”的起点)，这个值一般就是平均值，把训练集的所有样本都输入模型，得到所有预测值取平均值，在没有关于这个特定样本的区分性信息时，最合理的猜测就是平均值。到这里你可能心想，这样是不是很类似于线性回归的特征前的系数 y=ax1+bx2+cx3，那既然如此，我直接选择用线性回归的系数作解释，那岂不是更好?三人合伙前，收入是 0，三人合伙后，收入是 100万，要分配的"蛋糕"就是 100万-0=100 万。
机器学习进阶＜10＞分类器集成：集成学习算法
2303_77568009的博客
12-12 778
这篇博客是一篇关于分类器集成技术的全面实战指南，涵盖了从理论基础到代码实践的完整知识体系。文章以"三个臭皮匠顶个诸葛亮"的智慧为核心隐喻，系统阐述了如何通过组合多个弱分类器来构建强大的集成模型，从而突破单分类器的性能瓶颈。
机器学习与深度学习基础（五）：深度神经网络经典架构简介
TracyCoder的博客
12-11 825
本文学习要点：1.深度神经网络分层架构：全连接层卷积层池化层2.深度神经网络代表:CNN：CNN、AlexNet、VGG-Net、GoogLeNet（Inception）、ResNet（残差连接）编码器-解码器架构：序列到序列模型（Seq2Seq）
Conan-embedding整理
kexin197的博客
12-11 931
本文提出了一种改进的文本嵌入模型Conan-embedding，其核心创新在于动态难负样本挖掘和跨GPU平衡损失。该方法在训练过程中实时挖掘难负样本，使模型能动态适应复杂数据分布；采用多阶段训练策略，包括预训练阶段的通识学习和微调阶段的专项训练；通过跨GPU平衡损失解决训练振荡问题，提升模型稳定性。实验表明，该方法能有效提升文本嵌入质量，尤其在检索任务中表现突出。研究还探讨了不同任务（检索与STS）在训练策略上的差异，为后续研究提供了重要参考。
# Ultralytics YOLO 🚀, GPL-3.0 license import re from pathlib import Path import pkg_resources as pkg from setuptools import find_packages, setup # Settings FILE = Path(__file__).resolve() ROOT = FILE.parent # root directory README = (ROOT / "README.md").read_text(encoding="utf-8") REQUIREMENTS = [f'{x.name}{x.specifier}' for x in pkg.parse_requirements((ROOT / 'requirements.txt').read_text())] def get_version(): file = ROOT / 'ultralytics/__init__.py' return re.search(r'^__version__ = [\'"]([^\'"]*)[\'"]', file.read_text(), re.M)[1] setup( name="ultralytics", # name of pypi package version=get_version(), # version of pypi package python_requires=">=3.7.0", license='GPL-3.0', description='Ultralytics YOLOv8 and HUB', long_description=README, long_description_content_type="text/markdown", url="https://github.com/ultralytics/ultralytics", project_urls={ 'Bug Reports': 'https://github.com/ultralytics/ultralytics/issues', 'Funding': 'https://ultralytics.com', 'Source': 'https://github.com/ultralytics/ultralytics',}, author="Ultralytics", author_email='hello@ultralytics.com', packages=find_packages(), # required include_package_data=True, install_requires=REQUIREMENTS, extras_require={ 'dev': ['check-manifest', 'pytest', 'pytest-cov', 'coverage', 'mkdocs', 'mkdocstrings[python]', 'mkdocs-material'],}, classifiers=[ "Intended Audience :: Developers", "Intended Audience :: Science/Research", "License :: OSI Approved :: GNU General Public License v3 (GPLv3)", "Programming Language :: Python :: 3", "Programming Language :: Python :: 3.7", "Programming Language :: Python :: 3.8", "Programming Language :: Python :: 3.9", "Programming Language :: Python :: 3.10", "Topic :: Software Development", "Topic :: Scientific/Engineering", "Topic :: Scientific/Engineering :: Artificial Intelligence", "Topic :: Scientific/Engineering :: Image Recognition", "Operating System :: POSIX :: Linux", "Operating System :: MacOS", "Operating System :: Microsoft :: Windows"], keywords="machine-learning, deep-learning, vision, ML, DL, AI, YOLO, YOLOv3, YOLOv5, YOLOv8, HUB, Ultralytics", entry_points={ 'console_scripts': ['yolo = ultralytics.yolo.cli:cli', 'ultralytics = ultralytics.yolo.cli:cli'],}) D:\yolov\Miniconda3\envs\deepsort\python.exe D:\AA\YOLOv8-DeepSORT-Object-Tracking\setup.py usage: setup.py [global_opts] cmd1 [cmd1_opts] [cmd2 [cmd2_opts] ...] or: setup.py --help [cmd1 cmd2 ...] or: setup.py --help-commands or: setup.py cmd --help error: no commands supplied 进程已结束，退出代码为 1
06-18
<think>我们正在解决运行UltralyticsYOLOv8的setup.py时出现的“error:nocommandssupplied”问题。这个错误通常发生在尝试使用`setup.py`时没有指定正确的命令。在Python的setuptools中，当我们运行`setup.py`时，需要提供一个命令，例如`install`、`build`等。可能的原因和解决方案：1.**检查命令语法**：确保在运行setup.py时使用了正确的命令格式。正确的格式应该是：```bashpythonsetup.pyinstall```或者根据你的需求使用其他命令（如`develop`、`build`等）。2.**检查当前目录**：确保你在包含`setup.py`文件的目录中运行命令。3.**检查Python环境**：确保你使用的Python环境是正确的（比如虚拟环境），并且相关依赖已安装。4.**检查setuptools版本**：有时setuptools版本过旧可能导致问题，可以尝试升级：```bashpipinstall--upgradesetuptools```5.**检查setup.py文件**：如果上述步骤都不行，可能是setup.py文件本身有问题。可以检查文件内容，确保它正确调用了setuptools的setup函数。由于UltralyticsYOLOv8的安装通常推荐使用pip进行安装，而不是直接运行setup.py。因此，更好的解决方案可能是使用pip安装。使用pip安装YOLOv8：```bashpipinstallultralytics```或者，如果你想从源码安装（例如，你正在开发或修改代码），可以使用：```bashpipinstall-e.#在包含setup.py的目录中运行```这将以可编辑模式安装包，这样你对源码的修改会直接反映到安装的包中。因此，总结解决方案：-尝试使用正确的命令格式：`pythonsetup.py<command>`，其中`<command>`是有效的命令（如`install`）。-或者，更推荐使用pip进行安装：`pipinstallultralytics`（安装官方发布版本）或`pipinstall-e.`（从源码安装）。如果问题仍然存在，请提供更多关于你如何运行命令的详细信息。注意：在安装过程中，确保没有其他错误信息（如依赖安装失败）导致此问题。引用：[^1]:关于setuptools的使用，可以参考官方文档：https://setuptools.pypa.io/en/latest/userguide/quickstart.html</think>### Ultralytics YOLOv8 `setup.py` "error: no commands supplied" 解决方案 这个错误通常发生在运行 `setup.py` 时未正确指定构建命令。以下是逐步解决方案： #### 1. **检查命令语法（最常见原因）** ```bash # 错误示例（缺少命令）： python setup.py # 正确格式（必须添加命令）： python setup.py install # 标准安装 python setup.py develop # 开发模式安装 python setup.py bdist_wheel # 构建wheel包 ``` #### 2. **推荐使用 `pip` 安装（官方首选方式）** ```bash # 直接安装最新稳定版（避免setup.py问题） pip install ultralytics # 从本地源码安装（在包含setup.py的目录运行） pip install . ``` #### 3. **验证环境配置** - 确保在包含 `setup.py` 的目录运行命令 - 更新关键工具： ```bash pip install --upgrade setuptools wheel ``` #### 4. **检查 `setup.py` 完整性** 如果是克隆的仓库，确认文件未损坏： ```bash git checkout setup.py # 恢复原始文件 ``` #### 5. **完整安装流程示例** ```bash # 克隆仓库（如果需要源码） git clone https://github.com/ultralytics/ultralytics cd ultralytics # 安装依赖 pip install -r requirements.txt # 正式安装（任选一种） pip install . # 推荐方式 python setup.py install # 传统方式 ``` > **原因分析**：`setup.py` 是 `setuptools` 的构建脚本，必须接收明确的命令参数（如 `install/build`）。当直接运行 `python setup.py` 时，系统因缺少有效指令而报错[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vⅤ_Leon

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值