刘望的博客

import numpy as npimport scipy as spfrom scipy.optimize import leastsq导入包# scipy包含致力于科学计算中常见问题的各个工具箱

第二章 感知机在学习一个模型的时候应该问：模型的适用条件要解决什么问题对应统计学习方法的三个要素，假设空间，策略，算法感知机要解决的问题是二分类问题，假设是数据是可分的。2.1 感知机模型符号说明：输入空间：X⊆RnX \subseteq R^{n}X⊆Rn输入变量：x∈Xx \in Xx∈X输出空间：Y={+1,−1}Y=\{+1,-1\}Y={+1,−1}输出变量：y∈{+1,−1}y \in\{+1,-1\}y∈{+1,−1}假设空间：f(x)=sign⁡(w⋅x+b)f

第二章 感知机1．感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型：f(x)=sign⁡(w⋅x+b)f(x)=\operatorname{sign}(w \cdot x+b)f(x)=sign(w⋅x+b)感知机模型对应于输入空间（特征空间）中的分离超平面w⋅x+b=0w \cdot x+b=0w⋅x+b=0。2．感知机学习的策略是极小化损失函数：min⁡w,bL(w,b)=−∑xi∈Myi(w⋅xi+b)\min _{w, b} L(w, b)=-\sum_{x_{i}

1.1 统计学习1.统计学习的特点数据对统计学习很重要学习： 如果一个系统更能够通过执行某个过程改进它的性能2 统计学习研究对象统计学习研究对象：数据数据的基本假设是同类数据具有一定的统计规律性。3 统计学习的目的目的是对数据的预测和分析4 统计学习方法监督学习无监督学习强化学习概况： 统计学习方法可以概括如下：从给定的、有限的、用于学习的训练数据（ training data）集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间（ hyp