机器学习基本概念备忘（1）

机器学习三要素：模型、学习准则、优化算法

模型：确定输入空间、输出空间以及其映射函数（线性、非线性）

学习准则:就是衡量模型好坏的指标，比如风险最小化准则（经验风险：训练集上的平均损失最小，但可能过拟合；结构风险最小：加上L2范数的正则化项，避免过拟合）

优化算法：如何找到最优的模型 f(x, θ∗)，机器学习的训练过程其实就 是最优化问题的求解过程.梯度下降法：（去迭代求风险函数的最小值）、批量梯度下降法和随机梯度下降法、小批量梯度下降法（前两者的折中，选取一小部分随机样本not all,not one）

损失函数：0-1损失函数、平方损失函数、交叉熵损失函数（one-hot）向量与预测结果对数向量乘积求和取负也叫（负对数似然函数）

学习率：

提前停止：设立个验证集，在验证集上的错误率不再下降,就停止迭代. 这种策略叫提前停止(Early Stop)

批量梯度下降法和随机梯度下降法：批量梯度下降法每次迭代时需要计算每个样本上损失函数的梯度并求和，计算开销大；随机梯度下降法：每次迭代时只采集一个样本,计算这个样本损失函数的梯度并更新参数