克小洛的秘密基地

周志华《机器学习》同步学习笔记 ——第六章 支持向量机6.1 间隔与支持向量6.2 对偶问题得到对偶问题SMO求解6.3 核函数6.4 软间隔与正则化软间隔正则化6.5 支持向量回归6.6 核方法6.1 间隔与支持向量定义：   1.分类学习中应找到两类训练样“正中间”的划分超平面（泛化能力最强）        &nb...

周志华《机器学习》同步学习笔记 ——第八章 集成学习8.1 个体与集成8.2 Boosting8.3 Bagging与随机森林8.4 结合策略8.5 多样性8.1 个体与集成集体学习（多分类器系统/基于委员会的学习）：生成一组个体学习器并将它们结合起来。“同质”集成：只包含同种类型的个体学习器（例如BP、决策树），对应基学习器、基学习算法。“同质”集成：包含不同类型的个体学习器，对应组件学...

周志华《机器学习》同步学习笔记 ——第七章 贝叶斯分类器7.1 贝叶斯决策论7.2 极大似然估计7.3 朴素贝叶斯分类器拉普拉斯修正7.4 半朴素贝叶斯分类器7.5 贝叶斯网结构学习推断7.6 EM算法最近白天学车晚上看书 我瑞了 （概率论还没看啊啊啊啊）7.1 贝叶斯决策论对于分类任务，贝叶斯决策论考虑基于相关概率和误判损失来选择最优的类别标记。期望损失（条件风险）：λij\l...

周志华《机器学习》同步学习笔记 ——第九章聚类9.1 聚类任务9.2 性能度量外部指标内部指标9.3 距离计算9.4 原型聚类9.4.1 k均值算法9.4.2 学习向量量化 （LVQ）9.4.3 高斯混合聚类9.5 密度聚类9.6 层次聚类9.1 聚类任务聚类是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律，即不依赖于训练数据集的类...

《深度学习》同步学习笔记 第三章——概率与信息论3.1 为什么要使用概率3.2 随机变量3.3 概率分布3.3.1 离散型变量和概率质量函数3.3.2 连续型变量和概率密度函数3.4 边缘概率3.5 条件概率3.6 条件概率的链式法则3.7 独立性和条件独立性3.1 为什么要使用概率 1. 被建模系统内在的随机性2. 不完全观测3. 不完全建模频率派概率：概率直接与事件发生的频率相联系...

周志华《机器学习》同步学习笔记 ——第十章降维与度量学习10.1 k近邻学习10.2 低纬嵌入10.3 主成分分析10.4 核化线性降维10.5 流形学习10.6 度量学习10.1 k近邻学习k近邻学习即kNN（k-Nearest Neighbor）是一种常用的监督学习方法：给定某个测试样本，基于某种距离度量在训练集中找出与其距离最近的k个带有真实标记的训练样本，然后给基于这k个邻居的真实标记...

4.1 上溢和下溢因为计算机需要用有有限数量的位模式来表示无限多的实数，这会引入舍入误差。**下溢：**接近0的数被四舍五入为0，一些很小的参数就会被零除或取0的对数，需要避免。**上溢：**大量级的数被近似为无穷时发生上溢例子：softmax函数解决：softmax(z)softmax(z)softmax(z) z=x−maxixi\boldsymbol{z}=\mathbf{x...