Sonnet

据说很多数学系的同学觉得统计和概率论登不了数学宫殿的大雅之堂，遂轻视之。可是大数据时代，数据挖掘、机器学习、数据分析等新的知识领域不断开辟，而这一切都是离不开概率统计的发展，概率论与数理统计的发展极大影响了我们的生活，甚至可以说对于人工智能和机器学习方面的研究有奠基之功。我国大学本科开设的概率统计课程主要包括概率论、数理统计、测度论、应用回归分析、应用多元统计分析、应用时间序列分析、抽样调查、非参数

针对特殊约束条件下的优化问题，有着不同类别适应不同条件的求解算法。包括梯度法、求解线性等式约束问题的投影梯度法、适用于含有等式约束规划和含有不等式规划的拉格朗日乘子法、针对不等式约束的KKT条件法、罚函数法等。等式约束问题设目标函数为f(x)，约束条件为hk(x)h_k(x)，形如 minf(x)s.t.hk(x)=0k=1,2,⋯kmin \quad f(x) \\ s.t. \

通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。SVM主要是用来做分类工作，诸如文本分类，图像分类，生物序列分析和生 物数据挖掘， 手写字符识别等领域独有广泛应用。

决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。

一个简单神经网络所具有的模块结构，首先输入层(Input Layer)，接受相关的结构化化数据；其次是隐藏层(Hidden Layer)，隐藏层主要加权运算，通过激活函数达到拟合线性非线性函数的目的；最后有输出层(Output Layer)，其结果成为下一次迭代的初始值。

TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。下面用python实现一个简单的线性函数：y=0.2∗x+0.3y

我们在接触具体的机器学习算法前，其实很有必要对优化问题进行一些介绍。 
随着学习的深入，笔者越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。 最常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度方向法等。

单变量回归（包含假设、参数、损失函数、目标函数） 梯度下降法

机器学习的目标是学得一个泛化能力比较好的模型。所谓泛化能力，是指根据训练数据训练出来的模型在新的数据上的性能。这就牵扯到机器学习中两个非常重要的概念：欠拟合和过拟合。如果一个模型在训练数据上表现非常好，但是在新数据集上性能很差，就是过拟合，反之，如果在训练数据集和新数据集上表现都很差，就是欠拟合

序言前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。 这种算法一般具有严密的理论依据，而不是单纯凭借专家经验

序言前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。 这种算法一般具有严密的理论依据，而不是单纯凭借专家经验

全局优化算法概述前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。全局优化算法又称现代启发式算法，是一种具有全局优化性能、通用性强且适合于并行处理的算法。 这种算法一般具有严密的理论依据，而不是单纯凭

python中有些常用的字符串处理函数 特别是用python处理自然语言时，字符串处理用的十分频繁。下面总结一下常用的字符串处理的相关函数： Python 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换）一、去空格及特殊符号s.strip().lstrip().rstrip(',')二、复制字符串# strcpy(sStr1,sStr2)sStr1 = 's

二十世纪九十年代中期，统计学习(Statistic Learning)的出现迅速占领了机器学习的舞台。其中代表的是支撑向量机以及更一般的核方法。 其中Vapink大牛提出的统计学习理论为统计学打下坚实的理论基础。李航老师提出的统计学系三要素即：模型+策略+算法。构建模型监督学习过程中，模型就是所要学习的条件概率分布或决策函数。魔性的假设空间包括所有可能的条件概率分布或决策函数。 这里假设决策函数

我们在接触到具体的机器学习算法前，其实很有必要对优化问题进行一些了解。 随着学习的深入，越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。最常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度方向法等。...