机器学习(一) Spark MLlib介绍

本文介绍了机器学习的基本概念和发展历程,并重点探讨了Spark的机器学习库MLlib,包括其提供的数据集、算法包及在大数据上的优势。MLlib支持分类、回归、聚类等任务,具有高效且易于扩展的特性,推荐使用基于DataFrame的spark.ml API来构建机器学习流水线。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录
同步更新在个人网站:http://www.wangpengcufe.com/machinelearning/ml-ml1/

一、什么是机器学习

机器学习是一门多学科交叉专业,涵盖概率论知识,统计学知识,近似理论知识和复杂算法知识,使用计算机作为工具并致力于真实实时的模拟人类学习方式, 并将现有内容进行知识结构划分来有效提高学习效率。
机器学习有下面几种定义:

  • 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能。
  • 机器学习是对能通过经验自动改进的计算机算法的研究。
  • 机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。

机器学习是在数据的基础上,通过算法构建出模型并对模型进行评估。评估的性能如果达到要求,就用该模型来测试其他的数据;如果达不到要求,就要调整算法来重新建立模型,再次进行评估。如此循环往复,最终获得满意的经验来处理其他的数据。机器学习技术和方法已经被成功应用到多个领域,比如个性推荐系统,金融反欺诈,语音识别,自然语言处理和机器翻译,模式识别,智能控制等。

二、机器学习的发展历程

机器学习实际上已经存在了几十年或者也可以认为存在了几个世纪。追溯到17世纪

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值