小树屋

（终于读到最后一章了，吼吼！激动呀。我总感觉combining models已经有点频率派方法的味道了。所以接下来要读ESL？）目录14.1 Bayesian Model Averaging14.2 Committees14.3 BoostingP659 最小化指数误差P661 boosting的误差函数14.4 Tree-based Models14.5 Conditional Mixture Models委员会committe：训LLL个不同的模型，然后取平均做预测提升方法boosting：co

（这一章就是讲序列）目录13.1 Markov Models13.2 Hidden Markov ModelsP613 left-to-right HMMP615 HMM的最大似然P618 前向-后向算法P625 HMM中的和积算法P627 缩放因子P629 维特比算法 the viterbi algorithmP631 HMM的各种扩展13.3 Linear Dynamical Systems区分静态和非静态序列分布：静态情况中，分布保持一致；非静态情况中，分不会随时间变换。这里只关注静态情况马尔

目录12.1 Principal Component AnalysisP565 应用P569 高维数据PCA12.2 Probabilistic PCAP574 最大似然PCAP577 概率PCA的EM算法P580 贝叶斯PCAP583 因子分析12.3 Kernel PCA12.4 Nonlinear Latent Variable ModelsP591 独立成分分析 independent component analysisP592 自关联网络 autoassociative neural netwo

（终于把第十章读完了，这一章应该相对轻松。但这两天状态有待调整，所以没咋认真读）目录11.1 Basic Sampling AlgorithmsP526 标准概率分布P528 拒绝采样P530 可调节的拒绝采样Adaptive rejection samplingP532 重要性采样P534 采样-重要性-重采样 Sampling-importance-resamplingP536 采样和EM算法P537 数据增广算法 data augmentation algorithm11.2 Markov Chai

（长、难啃且重要的一章）目录10.1 Variational Inference（也叫variational Bayes）P464 分解概率分布factorized distrubutions概率图里推p(Z∣X)p(\bm Z|\bm X)p(Z∣X)是一个重要的问题。但如果该分布复杂，则很难求，也很难在该后验分布下其他内容的期望，总之精确计算复杂的一批。所以需要近似技术。两种方法，（1）下一章介绍的随机近似stochastic approximations；（2）本章的确定近似determinist

目录K-means ClusteringP429 K中心点算法K-medoids隐变量的引入使得复对于观测变量的复杂概率表示由简单分量组成K-means Clustering经典聚类算法了，目标函数为失真度量distortion measure其中rnk∈{0,1}r_{nk} \in \{0, 1\}rnk​∈{0,1}，表示是否nnn属于类kkk最小化这个东西，导致K-means一定收敛K-means的初始化很重要。实践中一种好的初始化方法为随机选K个点的集合。K-means算法也用于

（终于读到概率图了，从这一章开始应该算是PRML的精华内容了。过于基础的东西就不写了，主要写自己不会的）目录8.1 Bayesian NetworksP365 祖先采样法ancestral samplingP365 生成式模型generative modelsP366 离散变量P370 线性高斯模型P372 超先验hyperprior与层次贝叶斯模型hierarchical Bayesian model8.2 Conditional IndependenceP378 d-分离 d-seperationP3

（不手打公式了，太费时间，也没啥收益。直接截图……）目录P326 什么是稀疏核机7.1 Maximum Margin ClassifiersP328 SVMP331 重叠类分布（线性不可分）P334 ν\nuν-SVMP336 SVM和逻辑回归的区别P338 SVRP343 ν\nuν-SVRP344 计算学习理论7.2 Relevance Vector MachinesP345 回归RVMP350 稀疏性分析P353 分类RVMP326 什么是稀疏核机第六章的核方法必须要对所有的训练数据点进行求值。

目录静止核stationary kernel径向基函数radial basis function（同质核homogeneous kernel）6.1 Dual Representations许多线性参数模型可以被转化为一个等价的“对偶表示”dual representation，其中，预测是基于训练数据点处的核函数线性组合对于非线性特征空间映射ϕ(x)\phi(\textbf x)ϕ(x)，核函数为k(x,x′)=ϕ(x)Tϕ(x′)k(\textbf x,\textbf x')=\phi(\te

目录

（真的非常期待能读到第8、9章那里，看看频率派的作者是如何讲概率图的）目录P180 回归基础4.1 Discriminant FunctionsP181 两类情况P182 多类情况P184 最小二乘P187 Fisher线性判别分析P190 Fisher线性判别分析是一种特殊的最小二乘P191 多类Fisher线性判别分析P193 感知机算法4.2 Probabilistic Generative ModelsP198 连续型输入P200 MLE求解P202 离散型输入P203 指数族分布P180 回归

第3章 Linear Models For Regression3.1 Linear Basis Function ModelsP143 线性回归的几何解释P143 多重共线性3.1 Linear Basis Function ModelsP143 线性回归的几何解释记训练集标注为t=(t1,...,tN)T\bf t = (t_1, ..., t_N)^Tt=(t1​,...,tN​)T，...

第2章2 Probability Distributions2.2 Multinomial VariablesP74 两变量的条件期望与条件方差2.3 The Gaussian DistributionP86 高斯分布的参数辨识P94 序列估计Robbins-Monro 算法P97 高斯分布的后验推断2 Probability Distributions2.2 Multinomial Vari...

又好久没写博客，没做出什么有成果的东西。加之最近遇到了一些感情问题，情绪低迷。遂放飞自我，决定新开一坑，开始啃这本书了（直接读的原版的，看不懂的就去翻一下手边那本中文版，说起来这本中文版的还是我的一个学霸同学WBL送我的，要好好珍惜）。希望自己能读下来吧，就算读不下来，也至少要读某个章再停下，不要章中间断掉。不对原书内容做总结了，只简要记录下自己读过后刷新的知识点，这些多是原先不会的，含糊的。...