如何高效的做机器学习项目

简单易懂 | 机器学习如何快速入门? 机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。2数据简介一行数据我们称为一个样本一列数据我们成为一个特征有些数据有目标值(标签值),有些数据没有目标值(如上表中,电影类型就是这个数据集的目标值)数据类型一:特征值+目标值(目标值是连续的和离散的)数据类型二:只有特征值,没有目标值训练数据:用于训练,构建模型测试数据:在模型检验时使用,用于评估模型是否有效训练集:70% 80% 75%测试集:30% 20% 25%2.2。 阅读详情

作者:Radek Osmulski

编译:ronghuaiyang

导读

这篇文章比较早,但是内容很好,从实践中来到实践中去。确实是作者的经验之谈。

我刚完成一个项目,其中有80%我觉得自己几乎没有完成。我投入了大量的时间,最后完全失败了。

我知道或不知道的数学,我写代码的能力 —— 所有这些都是次要的。我处理这个项目的方式是失败的。

我现在相信,构建机器学习是一门艺术,或者说是一门手艺,而我常常狂读的那些数学大部头的书似乎都没有提到这一点。

我做了一点心路探索,回到了fast.ai的MOOC课程Jeremy Howard在Practical Deep Learning for Coders提到的内容,然后这篇文章就诞生了。

10s法则

我们坐在电脑前做事情。在宇宙中留下印记。降低预测的损失或减少模型的运行时间。

这里的关键词是做。这包括移动代码,重命名变量,可视化(数据),砸键盘。

但是,当它执行计算时,两分钟盯着电脑屏幕发呆,这样我们就可以一遍又一遍地运行它们,只是稍微修改一下参数,这是行不通的。

这也让我们面对了机器学习工作的最大祸根 —— 额外浏览器标签的诅咒。很容易按ctrl+t,很容易忘记我们在做什么。

这个解决方案可能听起来很荒谬,但它确实有效。当你处理一个问题时,永远不要让计算超过10秒。

但是我如何调整参数呢?关于这个问题,我怎样才能学到有意义的东西呢?

所需要做的就是以一种能够创建代表性样本的方式来取数据的一个子集。这可以用于任何领域,并且在大多数情况下只需要随机选择一定比例的样本即可。

一旦你取了一个数据子集,工作就变得具有交互性了。你进入了一种不受干扰的注意力流动状态。你不断地做实验,找出什么有效,什么无效。你的手指从不离开键盘。

时间延长了,你做的工作时间并不等于你本来要做的工作时间,如果你让自己分心的话,甚至连5小时的工作都做不到。

如何构造你的代码来简化这个工作流程?让切换到在完整数据集上运行变得非常简单。

当你即将写完代码,取消单元格注释并运行全部代码。

做一个时间垃圾邮件制造者(Be a time spammer)

这是对以上内容的补充。但它也远不止这些。

根据你如何构造代码,可以获得数量级的性能收益。如果你做了这样或那样的改变,如果能知道它一个东西运行了多长时间,将运行多长时间,这是很好的。然后你可以试着找出为什么会有这种不同,它会让你立刻成为一个更好的程序员。

最重要的是,这与“绝不跑超过10秒”的承诺相辅相成。

自测试

一旦你在数据处理pipeline中犯了一个错误而未被注意到,就几乎不可能恢复。在很大程度上,这也适用于模型构建(特别是如果你开发自己的组件,例如层,等等)。

关键是在进行过程中检查数据。在转换之前和之后查看它。总结一下。如果你知道在合并之后应该没有NAs,请检查是否确实没有。

测试一切。

从长远来看,保持头脑清醒的唯一方法就是在短期内变得多疑。

冲向成功

当你处理一个问题时,你应该关注的第二件事是什么?(我马上就会说第一件事情)创建一个模型,端到端的数据操作pipeline,这都比随机要好。

它可以而且应该是你能想到的最简单的模型。通常这意味着一个线性组合。但是你要开始对这个问题有感觉。你想要开始形成一个可能的基线。

假设你花了3天时间构建了一个超级复杂的模型,但它完全不能工作,或者不能像你想象的那样远程工作。你到底干了什么?

你现在什么都不知道。你不知道在处理数据时是否犯了错误,也不知道数据是否是垃圾。你不知道你的模型是否有问题。希望你能够在没有可以依赖的组件的情况下解决这个问题。

此外,建立一个简单的模型可以让你鸟瞰整个情况。可能是数据缺失了?也许类别不平衡?也许数据没有正确地标注?

在开始处理更复杂的模型之前,最好掌握这些信息。否则,你将冒着构建一些非常复杂的东西的风险,这些东西可能在某些时候上非常好,但同时又完全不适合当前的问题。

不要调参,调结构

"哦,如果我只添加一个线性层,我相信模型会变得更好"

“也许再多增加0.00000001的dropout会有所帮助,看起来我们的训练集有点过拟合了。”

特别是在早期,调优超参数绝对是适得其反的。然而,这么做的诱惑力实在太大了。

它几乎不需要工作,但很有趣。你会看到电脑屏幕上的数字在变化,你会觉得自己在学习,在进步。

这是海市蜃楼。更糟糕的是,你可能会过拟合你的验证集。每次你运行模型并根据验证损失进行更改时,你都会对模型的泛化能力造成损失。

你的时间最好投资于探索架构。你会学到更多。突然间,集成成为可能。

解放你的鼠标

你打算用多长时间?即使我一不小心富裕到了不用再工作一天的地步,我仍然每天使用电脑。

如果你打网球,你要练习每一个动作。你甚至可以花钱请人告诉你如何在一个特定的镜头中定位你的手腕!

但实际上,你只能打这么多小时的网球。为什么不同样注意你如何使用电脑呢?

使用鼠标是不自然的。它是缓慢的。它需要复杂而精确的动作。你只能从任何上下文进行有限的操作。

使用键盘让你自由。说实话,我不知道为什么会有这么大的不同。但它确实。

一个不用鼠标在电脑上工作的人。

最后但并非最不重要

除非你有一个良好的验证集,否则你所做的一切都没有任何意义。请允许我向你介绍这方面的最终资源。一篇无懈可击并以实践为基础的文章。(下一篇)

英文原文:https://medium.com/hackernoon/doing-machine-learning-efficiently-8ba9d9bc679d

(完)


9.9华为OD机试真题 新系统 - 受限任务分配 (Java/Py/C/C++/Js/Go) 华为OD机试真题 新系统【受限任务分配】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【受限任务分配】多语言题解。 阅读详情

相关推荐

银河麒麟V10上,手把手教你搞定OpenJDK的Icedtea插件(解决Java Web Start打不开问题)

本文详细介绍了在国产化操作系统银河麒麟V10上安装和配置OpenJDK Icedtea插件的完整流程,解决Java Web Start无法打开的问题。涵盖ARM64和MIPS64EL架构的安装步骤、文件关联配置及常见故障排除,帮助用户顺利完成系统迁移和应用部署。

weixin_33726313的博客 175

42个机器学习练手项目

从个性化推送(今日头条)、自拍美颜、自动翻译,到无人驾驶、图像识别等诸多领域……人工智能已经渗透进我们生活的方方面面,人工智能背后的机器学习和深度学习技术,也成为了“高薪”的代名词。 那么,普通程序员如何踏入AI的浪潮,站上时代薪资顶端呢? 今天,我们带来了 44 个机器学习的练手项目,分为「入门知识」、「基础课程」、「基础应用」、「综合应用」、「系统进阶」5个模块,层层递进,帮助你系统地入门...

hellozhxy的博客 2万+

VC++实现工业级RS232/RS485串口通信:从Win32 API到多线程封装

串口通信作为设备间数据交换的基础物理层协议,其核心在于通过特定的电气标准(如RS232的点对点电压传输、RS485的差分信号总线)实现稳定可靠的数据传输。在Windows平台下,其技术实现主要依托Win32 API,通过CreateFile、ReadFile、WriteFile等函数进行端口操作,并利用重叠I/O(Overlapped I/O)模型实现异步非阻塞,以提升程序响应能力与CPU效率。这对于构建高可靠性的工业控制、嵌入式调试及自动化设备软件具有关键价值。在实际应用场景中,开发者常需处理RS485的

weixin_33937499的博客 449

【值得收藏】机器学习实战项目汇总(初级、中级、高级)

大家都知道,教科书上所学与实际操作还是有出入的,那关于机器学习有什么好的项目可以实操吗?这次给大家分享一个涵盖面向初学者,中级专家和专家的23种机器学习项目创意,以获取有关该增长技术的真实经验。这些机器学习项目构想将帮助你了解在职业生涯中取得成功、和当下就业所需的所有实践。通过项目学习是你短期内能做的最好投资,这些项目构想使你能够快速发展和增强机器学习技能。语言上,这些机器学习项目可以用Python,R或任何其他工具开发。

m0_59596937的博客 6934

ISCC练习题MISC

解题技巧:看最后括号应该是IceCTF,先用了一键解码啥也没有啊,不对不对!好像是字符频率统计,转换网站:http://quipqiup.com/有人给你发了一串信息,你能解开吗?

m0_62737381的博客 1121

量化金融笔记1-股票量化基础

股票量化基础 文章目录什么是股票股票的定义及其诞生所解决的问题股票的主体和流通股票的常规分类股票价格收益率什么是股票价格的收益率股票价格收益率计算在python中的实现两种收益率算法的特点及应用场合股票交易规则场内交易与场外交易A股、B股、H股国内多层次的资本市场股票交易指令和撮合机制股票交易时间股票交易成本股票复权股票数据介绍与提取行业分类和指数行情数据因子数据标的数据基本面数据 什么是股票 股票的定义及其诞生所解决的问题 股票的定义:股票是一种有价证券,是股份有限公司公开发行的用以证明投资者的股东身份

折桂狂人的博客 2397

2024年度最佳的23个的机器学习项目(附源代码),重要概念一网打尽

对于这个初学者的项目,我们将使用泰坦尼克号数据集,其中包含幸存者和在泰坦尼克号飞船中死亡的人的真实数据。我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。我们可以使用监督学习来实现这样的模型。

pckzzy119的博客 3860

【ENVI初学】查看影像空间分辨率及重采样

例如,如果线段长度为900米,对应的像素数量为30个,那么影像的空间分辨率为30米。通过计算长度与像素数量的比值,即可得到影像的空间分辨率。,在弹出的对话框中,输入重采样后输出文件的xy分辨率大小。在测量结果窗口中,可以看到该线段的长度以及角度。在影像上点击并拖动鼠标,绘制一条直线段。工具,选择要重采样的影像后点击ok。,避免了插值过程中光谱信息的改变。:最近邻插值法通过选择原始影像中。在ENVI中打开影像后右键选择。指示了每个像素的地理跨度(聚合为一个新像素,通常通过。方法一:查看影像的元数据。

weixin_41619112的博客 5574

2020年度最佳的23个的机器学习项目(附源代码)     

2020年度最佳的23个的机器学习项目(附源代码) 大数据文摘出品 编译:Luna 我们都知道,教科书上所学与实际操作还是有出入的,那关于机器学习有什么好的项目可以实操吗? 文摘菌为你推荐这篇文章,在本教程中,涵盖面向初学者,中级专家和专家的23种机器学习项目创意,以获取有关该增长技术的真实经验。这些机器学习项目构想将帮助你了解在职业生涯中取得成功、和当下就业所需的所有实践。 通过项目学习是你短期内能做的最好投资,这些项目构想使你能够快速发展和增强机器学习技能...

pertain99的博客 7952

热视觉2:使用Python和OpenCV从图像中测量温度

这篇博客将介绍学习热/中远红外视觉的基础知识,gray8 和 gray16 图像(即最常见的热成像格式)之间的差异,学习如何使用Python和OpenCV从热图像中的每个像素点测量温度,并以不同的调色板显示结果。以及如何实时计算视频流和UVC热像仪的每个像素温度。

qq_40985985的博客 6712

高并发网络爬虫实践(欧赔、亚盘、大小指数数据爬取)

本文通过对一个实战化的高并发网络爬虫脚本进行深度模块化剖析,展示了如何构建一个兼具性能、健壮性和易用性的数据采集工具。核心设计思想总结模块化与单一职责: 每个函数都专注于解决一个特定问题,无论是网络请求、数据解析还是文件操作。并发与效率: 通过ThreadPoolExecutor实现了高效的并发抓取,极大缩短了总耗时。健壮性与容错: 强大的重试机制、细致的异常处理和线程安全的文件写入,保证了程序在复杂网络环境下的稳定运行。断点续传: 精心设计了进度记录与恢复机制,使得大规模抓取任务变得轻松可控。

猫敷雪 493

推荐开源项目:ML Platform Workshop - 构建高效机器学习平台的起点

推荐开源项目:ML Platform Workshop - 构建高效机器学习平台的起点 在这个快速发展的数据科学时代,拥有一个强大的机器学习(ML)平台是将模型成功推向生产的关键。ML Platform Workshop 是一款精心设计的开源项目,它提供了一个基础架构,让你可以轻松启动并管理你的数据科学项目。由 Aporia 制作,这个项目不仅提供了代码示例,还为你展示了如何构建自己的 ML 平台...

gitblog_00045的博客 1107

关于 Nginx 监听地址 0.0.0.0 的详细解释

0.0.0.0在Nginx配置中表示监听服务器所有网络接口(包括公网IP、内网IP和本地回环地址),这是默认配置。当使用listen 80;时,Nginx会接受通过服务器任何IP地址的80端口访问请求。相比只监听特定IP,这种配置更通用,但也意味着服务会对外网开放,需注意安全风险。可通过netstat命令验证监听状态,显示0.0.0.0:80即表示正确配置。

weixin_43674738的博客 1567

AIDE ML — 机器学习工程代理

AIDE 算法是一个树搜索代理,能够自主地编写、调试和测试代码,直到用户定义的指标达到最大值。由 LLM 驱动的代理,能够编写、评估和改进机器学习代码。知道还有其他引用或衍生自 AIDE 的公共项目吗?提示:使用完全本地化的模型时,性能可能会有所下降。使用侧边栏粘贴您的 API 密钥,上传数据,设置。用户界面显示实时日志、解决方案树和最佳代码。使用的Python 包的形式发布,并包含。智能体使用数据集,并用通俗易懂的英语描述。完全本地化(代码+评估器——无外部调用)替换新的搜索启发式方法、评估器。

具身机器人和通用AI 4055

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

tech.ml.dataset与机器学习:如何为tech.ml提供高效数据预处理

在当今数据驱动的机器学习世界中,高效的数据预处理是成功构建AI模型的关键。**tech.ml.dataset**作为Clojure生态系统中的高性能数据处理系统,为tech.ml机器学习库提供了强大的数据预处理能力,让数据科学家和开发者能够以函数式编程的方式处理海量数据,同时保持代码的简洁性和可维护性。🚀 ## 📊 什么是tech.ml.dataset? **tech.ml.dataset

gitblog_00947的博客 1072

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

borzoi-mouse训练数据揭秘:ENCODE、GTEx与FANTOM5如何塑造小鼠基因组AI模型?

borzoi-mouse是一款基于ENCODE、GTEx与FANTOM5三大数据库训练的小鼠基因组AI模型,能够精准预测524kb DNA序列窗口内的RNA-seq和染色质覆盖轨迹,为基因调控研究提供强大工具。 ## 核心训练数据集解析:构建小鼠基因组AI的三大支柱 🧬 ### ENCODE:解码小鼠表观基因组的功能元件 ENCODE( Encyclopedia of DNA Elemen

gitblog_00093的博客 500

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

【ML】第二章 端到端机器学习项目

在本章你将通过一个示例项目端到端地工作,假装是一家房地产公司最近聘请的数据科学家。1以下是您将要完成的主要步骤:看大图。获取数据。发现和可视化数据以获得洞察力。为机器学习算法准备数据。选择一个模型并训练它。微调您的模型。提出您的解决方案。启动、监控和维护您的系统。什么时候你正在学习机器学习,最好用真实世界的数据做实验,而不是人工数据集。幸运的是,有数千个开放数据集可供选择,涵盖各种领域。您可以从以下几个地方获取数据:流行的开放数据存储库加州大学欧文分校机器学习存储库Kaggle 数据集亚马逊的 AWS 数据

sikh_0529的博客 1万+

Swift 与机器学习:使用 Core ML 进行模型集成

Core ML 是苹果公司推出的机器学习框架,自 2017 年 6 月发布以来,一直致力于优化在移动设备上运行机器学习模型的性能。它为开发者提供了一套易于使用的 API,支持多种类型的机器学习模型,如神经网络、树集成、支持向量机和广义线性模型等。无论是处理图像、文本、音频还是其他数据类型,Core ML 都能提供高效的解决方案。通过本文的介绍,我们详细了解了如何使用 Swift 与 Core ML 框架进行机器学习模型的集成。

数字魔方操控师的博客 2148

探索Google的ML Metadata:打造高效机器学习工作流的利器

在当今的AI时代,构建和管理机器学习(ML)模型的过程越来越复杂。为了应对这一挑战,Google开源了ML Metadata (MLMD)项目,这是一个强大的工具,旨在帮助开发者记录、追踪和审计整个机器学习工作流程中的元数据。 ## 项目简介 MLMD是一个库,为机器学习实验提供了统一的元数据基础设施,包括数据输入、预处理、模型训练、验证、部署等各个阶段。它支持各种框架,如TensorFlow

gitblog_00067的博客 636

Dask-ML:大规模机器学习的高效解决方案

Dask-ML 是一个基于 Dask 的机器学习库,它允许在分布式计算环境中运行常见的机器学习算法。Dask 提供了一种灵活的方式来并行处理大数据,而 Dask-ML 则在此基础上扩展了对机器学习的支持,使得数据科学家能够利用其熟悉的 Scikit-Learn 风格接口来处理超出单机内存限制的数据集。 Dask-ML 的设计初衷是将复杂模型训练的任务分解到分布式计算资源中,从而实现高效的计算能力...

gitblog_00196的博客 1190

Android ML Kit:谷歌机器学习工具

Android ML Kit集成了多种机器学习功能,包括图像识别、文本识别、语音识别等,以下是具体功能的详细介绍。Android ML Kit作为谷歌推出的机器学习工具,具有丰富的功能、高效性能和易用性,为Android开发者提供了强大的机器学习支持。从图像识别到文本识别,ML Kit在实际应用中展现了广泛的应用场景,如智能相册、文档扫描等。为了充分发挥ML Kit的优势,开发者需要深入了解其功能和特点,合理运用到实际项目中。

2501_92488994的博客 1559

探索未来:ML-Five - 实现高效机器学习的神器

探索未来:ML-Five - 实现高效机器学习的神器 项目简介 欢迎来到ML-Five的世界!这是一个专注于简化和加速机器学习流程的开源项目。它采用模块化设计,集成了多种机器学习库,让开发者能够以更少的时间和精力构建高性能的AI模型。无论你是初学者还是资深的数据科学家,ML-Five都能帮助你提升工作效率,解锁更高级别的数据洞察。 技术分析 ML-Five的核心在于其高度封装的设计,它抽象出了一套...

gitblog_00091的博客 604

机器学习可视化新纪元:ML Visuals项目全景解析

你是否还在为科研论文中的机器学习图表设计而烦恼?是否希望用专业级可视化提升研究成果的说服力?ML Visuals项目为你提供超过100种免费可定制的科学图表模板,让复杂概念一目了然。本文将带你全面掌握这个由dair.ai社区打造的开源可视化工具库,从快速上手到深度定制,助你彻底告别图表设计困境。 ## 项目核心价值与架构 ML Visuals是一个专注于机器学习领域的开源可视化资源库,旨在通过...

gitblog_01125的博客 901
上一篇: python技巧(1)--如何转换itertools.chain对象为数组
下一篇: 机器学习数据集汇总(附下载地址)
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值