ML 能解决哪些问题?

机器学习(二):如何使用机器学习来解决一个问题? 给定一个问题,如何设计机器学习系统来解决此问题?1. 机器学习流水线1.1设计问题的流水线什么是“machine learning pipeline”?对于一个由多个阶段/模块组成的系统,当系统中含有机器学习的阶段/模块时,我们就说这是一个机器学习流水线。 Photo OCR问题:识别图片中的文字。 我们将这一问题分成三部分:首先是检测到图片中存在文字的部分,然后将文字分割成一个个的字符,最 阅读详情

机器学习是什么?

套用一下大神们对机器学习的定义,机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。简单一点说,就是计算机从数据中学习出规律和模式,以应用在新数据上做预测的任务。

640?wx_fmt=jpeg

近年来互联网数据大爆炸,数据的丰富度和覆盖面远远超出人工可以观察和总结的范畴,而机器学习的算法能指引计算机在海量数据中,挖掘出有用的价值,也使得无数学习者为之着迷。

作为机器学习工程师,虽说不是专家,但总算有一些机器学习的项目经验,这一篇就我们的经验和各位同仁的分享,总结一些对于初学者入门有帮助的方法和对进阶有用的资料。


◆ ◆ ◆

机器学习关注问题

并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确地处理),也没有一个机器学习算法可以通用于所有问题。机器学习,到底关心和解决什么样的问题。

从功能的角度分类,机器学习在一定量级的数据上,可以解决下列问题:

1.分类问题:根据数据样本上抽取出的特征,判定其属于有限个类别中的哪一个。比如:垃圾邮件识别(结果类别:1、垃圾邮件 2、正常邮件)。

2.回归问题:根据数据样本上抽取出的特征,预测一个连续值的结果。比如:星爷《美人鱼》票房

3.聚类问题:根据数据样本上抽取出的特征,让样本抱抱团(相近/相关的样本在一团内)。比如:google的新闻分类。

我们再把上述常见问题划到机器学习最典型的2个分类上。

  • 分类与回归问题需要用已知结果的数据做训练,属于“监督学习”

  • 聚类的问题不需要已知标签,属于“非监督学习”。

如果在IT行业(尤其是互联网)里溜达一圈,你会发现机器学习在以下热点问题中有广泛应用:

640?wx_fmt=png

◆ ◆ ◆

入门方法与学习路径

机器学习对大多数入门者也有一个比较通用的学习路径,也有一些优秀的入门资料可以降低大家的学习门槛,同时激发我们的学习乐趣。

简单说来,大概的一个学习路径如下: 

640?wx_fmt=png

最左边之所以列了『数学基础』『典型机器学习算法』『编程基础』三个并行的部分,是因为机器学习是一个将数学/算法理论和工程实践紧密结合的领域,需要扎实的理论基础帮助引导数据分析与模型调优,同时也需要精湛的工程开发能力去高效化地训练和部署模型和服务。

在互联网领域从事机器学习的人,有2类背景的人比较多:

1.程序员出身,这类同学工程经验相对会多一些。

2.学数学统计领域出身,这部分同学理论基础相对扎实一些。

因此对比上图,2类同学入门机器学习,所欠缺和需要加强的部分是不一样的。

下面就上述图中的部分,展开来分别扯几句:


 数学基础 


机器学习之所以相对于其他开发工作,更有门槛的根本原因就是数学。每一个算法,要在训练集上最大程度拟合同时又保证泛化能力,需要不断分析结果和数据,调优参数,这需要我们对数据分布和模型底层的数学原理有一定的理解。所幸的是如果只是想合理应用机器学习,而不是做相关方向高精尖的research,需要的数学知识啃一啃还是基本能理解下来的。

基本所有常见机器学习算法需要的数学基础,都集中在微积分、线性代数和概率与统计当中。

 典型算法 

绝大多数问题用典型机器学习的算法都能解决,粗略地列举一下这些方法如下:

640?wx_fmt=png

机器学习里所说的“算法”与程序员所说的“数据结构与算法分析”里的“算法”略有区别。前者更关注结果数据的召回率、精确度、准确性等方面,后者更关注执行过程的时间复杂度、空间复杂度等方面。 当然,实际机器学习问题中,对效率和资源占用的考量是不可或缺的。


 编程语言、工具和环境 

看了无数的理论与知识,总归要落到实际动手实现和解决问题上。对初学者而言,Python和R语言是很好的入门语言,很容易上手,同时又活跃的社区支持,丰富的工具包帮助我们完成想法。相对而言,似乎计算机相关的同学用Python多一些,而数学统计出身的同学更喜欢R一些。资深程序员则更偏向java和C++相关机器学习package。


 基本工作流程 

以上我们基本具备了机器学习的必要条件,剩下的就是怎么运用它们去做一个完整的机器学习项目。其工作流程如下: 抽象成数学问题—— 获取数据——特征预处理与特征选择——训练模型与调优——模型诊断——模型融合——上线运行。

这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。

说了这么多,你应该对机器学习都有了基本框架!或者已经机器学习有了自己的一套心得。那么如何求职机器学习工程师呢?

最好的方法就是能找到一个比你自己更靠谱的前辈、老师帮你持续性的指导!

因此,就在5月9日网易云课堂准备了一场关于《机器学习》的免费直播课,告诉你如何快速拿到机器学习工程师offer!

640?wx_fmt=jpeg

扫码即可加入“机器学习QQ群”

获取机器学习资料、直播课和精品体验课

▼

640?wx_fmt=png

(转载授权:寒小阳)

SSCardDriver.dll社会保障卡读写终端接口规范38号文接口 ********************获取设备及PSAM卡信息********************//********************获取银行账户信息 ********************//********************获取设备信息********************//********************PIN校验********************//********************通用写卡********************/ 阅读详情

相关推荐

Python自动化:3分钟搞定微信收藏链接批量导出到TXT(附完整代码)

本文介绍如何使用Python自动化工具在3分钟内将微信收藏链接批量导出到TXT文件。通过模拟人类操作和OCR技术,脚本高效处理大量链接,显著提升工作效率,并附有完整代码和实战避坑指南。

weixin_29062671的博客 630

机器学习能解决什么问题?

机器学习是一种强大的【工具】,可以帮助解决各种实际问题,包括但不限于以下几个方面:机器学习能解决什么问题?图像识别:机器学习可以通过对大量图像进行训练,识别和分类图像中的对象,从而用于图像搜索、安防、医疗等领域。自然语言处理:机器学习可以对大量的语言数据进行训练,从而实现文本分类、语音识别、机器翻译、智能客服等应用。推荐系统:机器学习可以分析用户的历史数据和偏好,从而为用户提供个性化的推荐服务,例如电商平台、社交媒体等。医学诊断:机器学习可以帮助医生诊断疾病,例如基于图像的医学影像分析、基于生物标志物的疾病

gp16674213804的博客 2235

最优化学习笔记1——关于拟牛顿法推导

从2020年3月份到现在,一年的时间里断断续续自学最优化,结合豆瓣读书、知乎等网站上的推荐,翻阅了以下书和课程: Stephen Boyd和Lieven Vandenberghe的《Convex Optimization》,这本书被公认为学习凸优化的必读经典著作,其中大量的篇幅讲应用,讲理论和算法的篇幅稍少一些。在B网站上有Boyd的视频课程,油管上也有,不过只有英文字幕,如果是零基础接触,直接看Boyd的视频稍显费劲,B站上也有凌青老师以《Convex Optimization》为教材的讲解,推荐作为入

xiaofei473的博客 1768

人工智能基础-机器学习任务之常规解决的六大问题

https://www.toutiao.com/a6706978417851499011/ 机器学习并不是简单的玩数学游戏,它是能真刀真枪的解决很多实际问题的。简单归纳总结一下,机器学习主要解决六大类任务或者叫问题:分类问题、聚类问题、回归问题、关联问题、序列问题。 异常检测问题 1. 分类问题(Classification) 抽象来看,分类问题就是构造一个分类...

喜欢打酱油的老鸟 3721

基于STM32的智能盆栽管家系统设计与实现(开题报告2)

本文设计了一种基于STM32的智能盆栽管家系统,旨在解决传统盆栽养护依赖人工、效率低下的问题。系统以STM32为核心,集成土壤湿度、温湿度及光照传感器,通过WiFi模块实现数据上传与远程控制,配备OLED显示屏本地显示,并利用继电器控制水泵与补光灯实现自动化养护。软件方面开发嵌入式程序、安卓APP及云平台,支持数据采集、远程监控和智能决策。相比现有产品,本系统具有成本低、扩展性强等优势,可满足家庭用户对植物精细化管理的需求。研究计划12周完成,包括硬件设计、软件开发、系统测试等环节,最终形成一套完整的智能盆

毕业作品网站 474

ICG cell如何通过Latch结构消除与门clock gating中的glitch?

本文深入解析了ICG Cell如何利用Latch结构解决传统与门时钟门控中的毛刺问题。通过将电平敏感锁存器与门控与门结合,ICG Cell将使能信号的变化严格限制在时钟低电平的安全窗口内采样和锁存,从而在时钟有效沿期间提供稳定的控制信号,从根本上消除了因信号延迟不同步而产生的glitch,确保了门控时钟的纯净与电路功能的可靠性。

weixin_29234423的博客 468

【机器学习】机器学习解决的问题特点、机器学习学的是什么、怎么学、如何构建高效机器学习模型的策略、机器学习的分类以及机器学习、模式识别、数据挖掘和人工智能的区别

机器学习学什么、怎么写、高效构建机器学习模型的策略以及机器学习的分类

ya的博客 2069

如何将rvt(BIM)转换为点云格式

1、为什么将BIM转换为点云格式? 如何使设计BIM与真实场景进行配准,分析在建、未建、已建构建的情况,真实场景是通过点云生产的,和点云配准需要相同的格式。 2、如何转换? 实用工具revit,转换过程如下图,这样就可以转换成三角网格形式。 3、FBX还需要进行一次转换,即转换成点云常用的类型,如bin\ply\pcd等格式。 需要软件cloudcompare.exe,软件下载地址百度云 链接:https://pan.baidu.com/s/1pflcKNc04loBnS1yKR39hw 提取码:obaf

self_Name_的博客 4489

机器学习能解决什么问题?机器学习用途

机器学习是专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习能解决什么问题?本篇来分析一下机器学习的用途。机器学习能解决什么问题?从功能的角度分类,机器学习在一定量级的数据上,可以解决下列问题:1、分类问题:根据数据样本上抽取出的特征,判定其属于有限个类别中的哪一个。比如:垃圾邮件识别(结果类别:1、垃圾邮件 2、正常邮件)。2、回归问题:根据数据样本上抽取出的特征,预测一个连续值的结果。比如:星爷《美人鱼》票房3、聚类问题:根据数据样本

gu1857035894的博客 5190

TPM 2.0实例探索2 —— LUKS磁盘加密(1)

本文对LUKS行了系统介绍

phmatthaus的专栏 1700

低代码组件开发——OpenClaw智能助手的组件设计与开发(2026技术版)

OpenClaw智能助手的低代码组件开发平台采用分层架构设计,包含组件定义、注册、配置、渲染和生命周期管理等核心模块。该系统支持UI、功能、数据和集成四种组件类型,强调可重用性、可配置性和可扩展性。组件定义通过TypeScript、React等技术实现组件结构和行为的描述,组件注册中心基于Node.js和MongoDB管理组件版本。该平台通过React、Redux等技术实现组件渲染和状态管理,并提供完整的生命周期管理机制。这种架构设计显著提升了智能助手应用的开发效率和质量。

一键难忘的博客 407

机器学习一般用来解决哪些方面的问题?

随着互联网的不断发展,程序员在学习编程语言的种类上也开始偏向于人工智能AI技术方面的知识学习了,下面我们就一起来了解一下,关于机器学习我们都需要解决哪些问题。 机器学习一般用来解决哪些方面的问题? 要问机器学习主要能解决什么问题,抛开各式各样的机器学习流派和层出不穷的算法模型不谈,机器学习主要解决的是两类问题:监督学习和无监督学习。掌握机器学习,主要就是学习这两类问题,掌握解决这两类问题的基本思路...

m0_37468171的博客 7233

基于 YOLOv26 的校园安全监控系统:多场景应用

本文提出了一种基于YOLOv26的校园安全监控系统,采用多场景应用架构实现对校园安全的智能监测。系统核心技术包括YOLOv26目标检测、DeepSORT目标跟踪、区域安全定义和行为分析等模块,通过边缘计算平台实现实时处理。研究构建了包含多种校园场景的专业数据集,并采用数据增强技术提升模型性能。系统可检测人员、车辆和物品等目标,分析其行为轨迹,评估安全风险并触发告警。实验结果表明,该系统能有效识别校园安全隐患,为安全管理提供智能化解决方案。

一键难忘的博客 503

ML-lib机器学习库常见问题解决方案

ML-lib机器学习库常见问题解决方案 ML-lib是一个由Christopher Jenness开发的广泛机器学习库,全部由Python编写而成。该库包含多种机器学习算法,支持监督学习和非监督学习,并且为决策树和集成方法提供了大量工具。 基础介绍和主要编程语言 ML-lib是一个全面的机器学习库,其特点是从头开始构建(不使用现有的高级库如scikit-learn)。主要使用的编程语言是Pytho...

gitblog_00919的博客 971

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

自动机器学习项目auto_ml常见问题解决方案

`auto_ml` 是一个自动化机器学习的开源项目,旨在简化机器学习模型的训练和部署过程。该项目支持自动特征工程、模型选择和超参数优化,适用于数据科学家和开发者。项目主要使用 Python 编程语言实现,并集成了多种流行的机器学习库,如 TensorFlow、Keras、XGBoost、LightGBM 和 CatBoost。 ## 2. 新手常见问题及解决步骤 ### 问题一:如何安装和使用...

gitblog_00659的博客 711

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

ML:人工智能之机器学习ML解决实际应用问题的思路总过程(最全)

ML:人工智能之机器学习ML解决实际应用问题的思路总过程(最全) 目录 详细思路结构 详细思路结构

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 9527

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Kafka-ML 项目常见问题解决方案

Kafka-ML 项目常见问题解决方案 1. 项目基础介绍 Kafka-ML 是一个开源框架,旨在管理和构建基于 Kubernetes 的 TensorFlow 或 PyTorch 机器学习模型管道。它允许设计、训练和推理机器学习模型。通过 Apache Kafka,该框架能够将机器学习模型的数据流与物联网等数据流直接连接。Kafka-ML 提供了一个无需要外部库和执行环境的 Web UI,使得机...

gitblog_00381的博客 938

visualize_ML 项目常见问题解决方案

visualize_ML 项目常见问题解决方案 1. 项目基础介绍和主要编程语言 项目名称: visualize_ML 项目简介: visualize_ML 是一个用于机器学习问题中数据分析和可视化的 Python 包。它主要用于一元和二元数据分析,支持分类和连续数据集的可视化。该项目基于 matplotlib 和 sklearn 等库,帮助用户在处理机器学习问题时进行数据探索和特征选择。 主要编...

gitblog_01035的博客 1068

机器学习能解决什么重要问题呢

医学诊断、金融风险管理、自然灾害预测、语音识别和翻译、智能客服等应用领域都得到了极大的推广和应用。通过分析历史数据和气象信息,机器学习算法可以预测自然灾害的发生时间、地点和强度,从而提前采取应对措施,减少人员伤亡和财产损失。通过对大量的历史数据进行分析和挖掘,机器学习算法可以识别信用风险、欺诈行为和异常交易等问题,并及时采取相应的措施来防范和减少风险。通过训练机器学习算法,可以让计算机系统更好地理解不同语言之间的差异和规律,从而实现更加准确的语音识别和翻译。

463

美团团购单交易额预估问题

本文转载自美团点评技术团队文章http://tech.meituan.com/mt-mlinaction-how-to-ml.html

TangowL 4880

机器学习解决的问题

在我们的业务中,遇到的能用机器学习解决的问题大概这么三类: 分类问题:包括 二分类 和 多分类                     二分类 就是解决了预测的问题,就像预测一封邮件是否垃圾邮件;                   多分类 解决的是文本的分类; 聚类问题:从用户搜索过的关键词,对用户进行大概的归类。 推荐问题:根据用户的历史浏览和点击行为进行相关推荐。 大多数行业,使...

https://blog.youkuaiyun.com/sinat_36710456 765

实例详解机器学习如何解决问题

转载自:http://tech.meituan.com/mt-mlinaction-how-to-ml.html

江湖戏子的专栏 759

如何用机器学习解决简单问题

原文:towardsdatascience.com/how-to-solve-a-simple-problem-with-machine-learning-9efd03d0fe69。

龙哥盟 699

人工智能知识全面讲解: 什么问题适合用机器学习方法解决?

机器学习不是万能的,不能解决所有的问题。机器学习擅长的是通过已知 经验找到规律去解决问题。如果我们面对的问题没有任何规律可循,完全是 一个随机事件,那么使用再复杂的机器学习算法也无济于事 。值得注意的 是,很多问题看似没有规律,实际上是人类处理不了太大的数据量,看起来杂 乱的数据掩盖了背后的规律,这类问题并非无迹可寻,只是需要用正确的方 法。所以面对问题,产品经理首先要分析可行性,想清楚数据背后的关联关 系,透过数据现象看到问题本质。 当银行决定某个客户的贷款额度时,可以根据过往成功放贷的数据找出每 个贷款

Lee达森的博客 1725

什么是机器学习?通过机器学习方法能解决哪些问题?

来源:Master编程树“机器学习”最初的研究动机是让计算机系统具有人的学习能力以便实现人工智能。因为没有学习能力的系统很难被认为是具有智能的。目前被广泛采用的机器学习的定义是“利用经验来改善计算机系统自身的性能”。事实上,由于“经验”在计算机系统中主要以数据的形式存在,因此机器学习需要设法对数据进行分析学习,这就使得它逐渐成为智能数据分析技术的创新源之一,并且受到越来越多的关注。机器学习的核心在...

weixin_49393016的博客 434

机器学习能解决哪些问题?每一类使用的常用方法有哪些?

谱聚类则是通过图论的方法,实现数据的划分。应用场景:房价预测、股票价格预测、气温预测、销售预测、医疗领域(疾病发展或药物剂量测)、能源消耗预测、保险费用计算、教育研究(学生考试成绩预测)、供应链管理(产品需求量预测)、经济增长预测等。聚类问题是指将输入数据划分成若干个相似的组或簇,使得同一簇内的数据具有较高的相似性,而不同簇之间的数据具有较大的差异性。应用场景:垃圾邮件过滤、医疗诊断、图像识别、情感分析、语音识别、生物信息学(基因表达数据分类)、文档聚类、客户细分、天文数据分析、产品推荐系统等。

kxdkxdkxdkxd的博客 781
上一篇: GitHub 家的程序员也得祭天了!原因和 Twitter 一样
下一篇: 微软 Build 2018 大会开幕:云计算与 AI 是重头戏;25 届国际 C 语言混乱代码大赛获奖作品公布...
redditnote
博客等级 码龄12年 51粉丝 145原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值