极大似然和交叉熵 | 深度学习

接触ML接近一年, 虽有数字信号+统计检测基础知识, 对极大似然仍然一知半解, get不到贝叶斯的思想. DL仍处于探索阶段, 只知道些名词堆砌, 今天开始读<深度学习> 这本书, 着实相见恨晚. 博客将记录个人点滴见解, 聊以备忘.
欢迎交流指正!

极大似然

因时间有限+latex技能尚未习得, 下述公式很少很难看

概率论中常讲极大似然, 基本任务是对于未知参数theta的指定分布, 通过一些data估计theta. 不结合实际来用, 还是有些晦涩.
ML中做预测的基本流程通常是: 有数据集(data), 建模(model), 训练(学theta). 极大似然(条件概率)的思路就是, 应该确定怎样的theta, 使得model预测的y’ 最符合给定的data. 从这个角度来看, 就是使模型分布尽可能和data所指定的经验分布相匹配, 深度学习书本中还指出了KL散度方面的等价解释.

theta