笑着流浪的博客

对于一个基本的神经网络结构，我们可以容易得出其性能参数并求得最小值，但是需要求矩阵的逆矩阵，这在大规模神经网络的情况下显然是不可行的，所以我们需要找到一种算法来求得性能参数曲面的最小值。关于LMS算法的理论推导就不贴在这了，有兴趣可以参考Martin T.Hagan等人编著的神经网络设计这本书，里面讲的很详细。 下面就以上图所示模型为例，贴出LMS算法核心部分的伪代码：for n=1:k

最近开始学习机器学习算法，大致了解了一些基础知识后，准备真正编程实现一些机器算法，于是选择了Peter Harrington的机器学习实战这本书，打算将其中的算法实现一下。由于本书算法采用Python语言编写，而且我之前没有接触Python语言，所以正好趁着这个机会从零开始学习Python语言。 K近邻算法的基本原理在这就不再赘述了，就是一组带标签数据，对于一个未分类样本，选择距其最近的K个带标签

def file2matrix(filename): fr = open(filename) #打开文件 arrayofLines = fr.readlines() #读取文件行数 numberofLines = len(arrayofLines) returnmat = zeros((numberofLines,3)

首先打开komodo 点击View-Tabs＆Sidebars-Toolbox，此时会出现Toolbox栏，也就是图中右边那栏。 右键Add-New Custom Menu，名字随便填 然后在创建好的Custom Menu上右键Add-New Command会出现下面界面 标题栏随便取名字，比如Run。command栏填写/usr/bin/python “%F”，/usr/b

这一篇接着上一篇博客，由于字典这种数据结构的不清晰性，失去了决策树算法本身的优点，所以我们需要将结果通过树形图来表示出来，采用的是Python中matplotlib库。 首先我们简单测试一下使用matplotlib库来画标注的效果。import matplotlib.pyplot as pltdecisionNode = dict(boxstyle = 'sawtooth',fc ="0.8"

决策树算法听起来很陌生，但是一提到问问题游戏，大家肯定都玩过，游戏规则就是在脑海中想一个事物，其他人向此人提问题，回答也只能是是和否，从而不断缩小范围逼近正确答案。决策树就是这个原理。上一章介绍的K近邻算法能完成多分类问题，但是无法给出数据的内在含义，而决策树算法的优势就在于结果可视化，数据型式非常容易理解。如下图所示就是决策树的流程图型式。 优点：计算复杂度不高，结果易于理解，对中间值缺失不

朴素贝叶斯算法原理其实比较简单，就是基于贝叶斯原理。在此先介绍一下贝叶斯原理。条件概率：P(A|B)就是在B发生的条件下A发生的概率。而P(AB) = P(A|B) *P(B) = P(B|A) *P(A)，由此可以推出P(B|A) = [P(A|B) *P(B)]/P(A)，这个公式就给出了P(A|B)和P(B|A)之间相互转换的公式。也就是先验概率与后验概率之间的相互转换，这也是贝叶斯学派与频率