今日主要了解了机器学习的概述,了解了机器学习的大致内容,对今后几日的学习有了初步的了解。主要的学习的内容如下:
1.什么是机器学习?
机器学习是一门多领域交叉学科,涉及概率论,统计学,微积分等多门学科。专门研究实现使机器模拟或实现人类的学习行为,获取新的知识和技能,并不断通过学习来完善自身的性能。大致分为监督学习,无监督学习,强化学习三类。此次暑期学习小组主要学习监督学习中的线性模型和支持向量机。
2.机器学习的任务。
典型任务有:
回归:指把实函数在样本点附近加以近似的有监督的函数近似问题。
分类:对于指定的模式进行识别的有监督的模型识别问题。
异常检测:寻找输入样本中所包含的异常数据的问题。
聚类:与分类问题相同,也是模式识别的问题,但是属于无监督学习的一种。
降维:从高维度数据中提取关键信息,将其转换为易于计算的低维度问题进而求解。
回归:指把实函数在样本点附近加以近似的有监督的函数近似问题。
分类:对于指定的模式进行识别的有监督的模型识别问题。
异常检测:寻找输入样本中所包含的异常数据的问题。
聚类:与分类问题相同,也是模式识别的问题,但是属于无监督学习的一种。
降维:从高维度数据中提取关键信息,将其转换为易于计算的低维度问题进而求解。
3.机器学习的发展历程。
1949年,机器学习的第一步,Hebb提出Hebbian学习原理。
随后在1952年,Arthur Samuel研发出了著名的西洋棋程序,并定义了机器学习(machine learning)的概念。
1957年,Rosenblatt的Perceptron是第二个以神经科学为背景提出的模型。
3年之后,Widrow[4]制定了三角洲学习规则用于实际中训练感知器(Perceptron)的过程。这也被称为最小平方问题。
1969年,Minsky[3]提出了著名的亦或问题和Perceptrons在该线性不可分割数据分布的无力。使神经网络社区的发展停滞。之后,神经网络的研究者们的活动一直处于休眠状态直到20世纪80年代。
1981年之前,社区一直未再作出更多的前进,直到 Werbos[6] 通过神经网络下的BP算法提出多层感知器(MLP)。
1986年,J.R.Quinlan提出决策树这一著名的机器学习算法。
1995年,支持向量机的出现,使得机器学习取得了巨大的突破。同时神经网络开始沉寂。
直到这个世纪初,深度学习的概念被提出,神经网络大热,重回热门。
随后在1952年,Arthur Samuel研发出了著名的西洋棋程序,并定义了机器学习(machine learning)的概念。
1957年,Rosenblatt的Perceptron是第二个以神经科学为背景提出的模型。
3年之后,Widrow[4]制定了三角洲学习规则用于实际中训练感知器(Perceptron)的过程。这也被称为最小平方问题。
1969年,Minsky[3]提出了著名的亦或问题和Perceptrons在该线性不可分割数据分布的无力。使神经网络社区的发展停滞。之后,神经网络的研究者们的活动一直处于休眠状态直到20世纪80年代。
1981年之前,社区一直未再作出更多的前进,直到 Werbos[6] 通过神经网络下的BP算法提出多层感知器(MLP)。
1986年,J.R.Quinlan提出决策树这一著名的机器学习算法。
1995年,支持向量机的出现,使得机器学习取得了巨大的突破。同时神经网络开始沉寂。
直到这个世纪初,深度学习的概念被提出,神经网络大热,重回热门。
4.机器学习中的一些基本概念。
模型:泛指从数据中得到的结果。也有文献中指全局性的结果。
样本:对一个对象或事件的描述,反映事件或对象在某方面的表现或性质的事项。
训练:从数据中学得模型的过程称为训练。
训练数据:训练过程使用的数据就是训练数据。
监督学习和无监督学习:根据有无标记信息来划分学习任务。有则是监督学习,反之则为无监督学习。
样本:对一个对象或事件的描述,反映事件或对象在某方面的表现或性质的事项。
训练:从数据中学得模型的过程称为训练。
训练数据:训练过程使用的数据就是训练数据。
监督学习和无监督学习:根据有无标记信息来划分学习任务。有则是监督学习,反之则为无监督学习。