机器学习基本概念备忘（2）

最小二乘：通过最小化误差平方和来寻找数据的最佳拟合模型，

最大似然估计：已知观测数据，根据观测数据结果推测模型的参数

最大后验估计：在已知观测数据的基础上，结合参数的先验分布（可以设定先验分布概率），寻找使得后验概率最大的参数值

机器学习算法类型：（按函数 f(x; θ) 的不同：线性模型、非线性模型）（学习准则的不同：统计模型和非统计模型）一般按照训练样本提供的信息以及反馈方式的不同分为监督学习、无监督学习、强化学习

监督学习:分为回归问题（标签 y 是连续值）、分类问题（标签 y 是离散的类别）和结构化学习（输出 y 通常是结构化的对象,比 如序列、树或图等）

无监督学习：(Unsupervised Learning,UL)从不包含目标标签 的训练样本中自动学习到一些有价值的信息. 聚类、密 度估计、特征学习、降维等

强化学习：在强化学习中,智能体根据环境的状态做出一个动作,并得到即 时或延时的奖励. 智能体在和环境的交互中不断学习并调整策略,以取得最大化 的期望总回报.