双杯献酒的专栏

机器学习的“风险最小化原理”中， “风险”是指预测函数的预测结果与标记数据的结果之间的平均误差。如果我们假设（超参数）在一组函数（函数类）F中， 寻找一个“效果最好的函数f”.显然， 我们想要的是“泛化效果最好”， 也就是该函数对按概率分布的所有采样（无限的）误差最小。一个显而易见的想法是， 把F中所有函数都应用于样本数据， 找出误差最小的那一个f。这就是 “经验最小化原理...

1. 函数类的标注数量 函数类F中的一个函数f, 应用于一个观测数据集S, f会为每一个数据计算出一个预测标注。 设数据集S的数据数量是n, 则显然不管F中的函数有多少(甚至无限)， 不同的标注最多只有 2ⁿ种标注, 所以是有限的。 所以对于数量无限的F， 必然有很多函数的标注是一样的， 对于这个观测数据集而言， 相同标注的函数是等价的。 经...

1. 对于一个二分类的算法， 我们一般是找到一个决策边界函数h(x), 当h(x) < 0 则是属于类I， 当h(x)>0则是属于类II, 当h(x)=0则处于边界上。 即是， 我们用一个符号函数来表示: sgn(z) = 0,±1 {当z<0为-1, z=0为0, z>0为+1} 这样， 决策函数算法就是 sgn(h(x)) ...

1. 梯度法也叫最速下降法。2. 批处理模式 全量梯度下降法（BGD, Batch gradient descent）。 在最小化损失函数的时候， 首先随机取一个w0, 然后计算w0处的梯度， 然后按梯度相反的方向修改w0. 反复迭代直到取得最小值。 其中每次修改的大小，称为学习步长。如果步长选择太小， 则收敛速度会很慢， 如果太大则可能会震荡。 w&l...

Hoeffding’s Inequality (Wassily Hoeffding于1963年)1. 如果我们选定一个二分分类器预测函数f, 假设将f按概率应用于整个样本空间， 某些预测会错误， 这样可以得到一个预测错误的比例，这就是泛化误差。 因为我们实际上不可能测试无限的数据集，所以泛化误差实际是无法得到的。当我们把f应用于一个已标记的测试集T， 同样可以得到一个预测错误...

1. 考虑一个一次直线函数 y = kx显然 y' = k而任何两个点(x0, y0), (x1,y1)有 y1 - y0 = y'*(x1-x0)2. 考虑一个二次曲线函数 y = kx²显然 y' = 2kx这个是一个一次直线函数，所以对于 y'' = 2k所有有 y'(x1) - y'(x0) = y''*(x1-x0)在二次曲线求最小值的时候， 我们需要求y'=0处的...

二维瓦片网格边界检测1. 每个网格只考虑ENWS四个相邻格子四个相邻格子ENSW编号为0~32. 当前方向D(0~3): 如果当前格子是上一个格子选择的ENSW(0~3)中的一个, 则这个选择就是当前方向3. 选择下一个的策略:按找以下优先级判断 (D+3)%4, (D+4)%4, (D+5)%4, (D+6)%4(第一优选是右手侧, 最后一项是原路返回)如果这四...

吴军《智能时代-大数据与智能革命重新定义未来》读书笔记1. 原有产业+新技术=新产业 原有产业+蒸汽机=新产业 (机械化) 原有产业+电=新产业 (自动化) 原有产业+摩尔定律=新产业 (信息化) 原有产业+大数据/机器智能=新产业 (智能化)2. 使用数据的标准流程 获取数据 -> 分析数据 -> 建立模型 -> 预测未知3. 机器智能...