Paul_Huang的专栏

1 问题     模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以用多项式回归。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？     还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w公式里的参数？形式化定义：假设可选的模型集合是，比如我们想分类，那么SVM、logistic回归、神经网络

目录(?)[-]作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处Deep learning一基础知识_1Deep learning二linear regression练习Deep learning三Multivariance Linear Regression练习Deep learning四logistic reg

遗传算法的优缺点遗传算法属于进化算法( Evolutionary Algorithms) 的一种,它通过模仿自然界的选择与遗传的机理来寻找最优解. 遗传算法有三个基本算子:选择、交叉和变异.。数值方法求解这一问题的主要手段是迭代运算。一般的迭代方法容易陷入局部极小的陷阱而出现"死循环"现象，使迭代无法进行。遗传算法很好地克服了这个缺点，是一种全局优化算法。生物在漫长的进化过程中，从

拉格朗日乘子法和KKT条件拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。拉格朗日乘子法先来看

关于拉格朗日乘子法与KKT条件的相关数学概念作者：@wzyer原文出处：http://www.moozhi.com/topic/show/54a8a261c555c08b3d59d99

P、NP、NPC和NP-Hard相关概念的图形和解释一、相关概念     P: 能在多项式时间内解决的问题　　NP: 不能在多项式时间内解决或不确定能不能在多项式时间内解决，但能在多项式时间验证的问题　　NPC: NP完全问题，所有NP问题在多项式时间内都能约化(Reducibility)到它的NP问题，即解决了此NPC问题，所有NP问题也都得到解决。