Joycezzz的博客

这里写目录标题目录1 马尔科夫链原理2 代码实现参考文献和网址目录1 马尔科夫链原理状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定（某一时刻状态转移的概率只依赖于它的前一个状态），在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的

遗传算法GA目录1 遗传算法原理2 代码实现参考文献和网址目录1 遗传算法原理借鉴了达尔文的进化论和孟德尔的遗传学说一种高效、并行、全局搜索的方法，能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最佳解专业术语：基因型(genotype)：性状染色体的内部表现；表现型(phenotype)：染色体决定的性状的外部表现，或者说，根据基因型形成的个体的外部表现；进化(evolution)：种群逐渐适应生存环境，品质不断得到改良。生物的进化是以种群的形式进行的。

层次分析法目录1 层次分析法原理 Analytic Hierarchy Process每个准则（因素）权重具体应该分配多少？2 代码实现参考文献和网址目录1 层次分析法原理 Analytic Hierarchy Process根据多种准则，或是说因素从候选方案中选出最优的一种数学方法首先做一个归一处理，给目标层（choose a leader)分配值为1或0将这一值作为权重，分配给不同因素(Age,Experience,Education,Charisma)，对应因素的权重大小代表该因素在整个

竞争学习算法目录1 竞争学习算法原理2 代码实现参考文献和网址目录1 竞争学习算法原理竞争学习的关键就在于网络中存在抑制层。输出神经元之间的竞争网络在神经元之间可能包括反馈连接每个神经元都倾向于抑制跟他同一层的神经元。相比之下，网络中的前馈的突触连接都是兴奋的。2 代码实现参考文献和网址[1]竞争学习算法...

拟牛顿法目录1 拟牛顿法原理2 代码实现参考文献和网址目录1 拟牛顿法原理[1]牛顿法（Xgboost）：在每一次迭代中，以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格，要求二阶可导，有Hesse矩阵求逆的计算复杂的缺点感悟：本质就是用了二阶泰勒[2]阻尼牛顿法：牛顿方向可能是下降方向，也可能是上升方向，以至于当初始点远离极小点时，牛顿法有可能不收敛阻尼牛顿法，在牛顿法的基础上，每次迭代除了计算更新方向（牛顿方向），还要对最优步长做一维搜索[3]拟牛顿法：用不含二阶导数的

共轭梯度法目录1 共轭梯度法原理2 共轭梯度代码实现参考文献和网址目录1 共轭梯度法原理每次将一个方向优化到了极小，后面的优化过程将不再影响之前优化方向上的极小值，所以理论上对N维问题求极小只用对N个方向都求出极小就行了。为了不影响之前优化方向上的更新量，需要每次优化方向共轭正交。2 共轭梯度代码实现优化方向使用Gram-Schmidt方法进行向量正交化步长选取【r梯度方向，p优化方向，α优化步长】参考文献和网址[1]共轭梯度方法原理...

梯度之最速下降法目录1 最速下降法2 代码实现（见[2]）参考文献和网址目录1 最速下降法【最速下降法】在每次的迭代过程中，选取一个合适的步长αk，使得目标函数的值能够最大程度的减小。停止条件：3,4式为1,2式的相对值，而5,6式是为了避免3,4式中的分母过小进行的修改个人感悟：在大部分情况下，下降最快的α应该都对应着斜率k。2 代码实现（见[2]）搜索方向d(k):λ(k)的确定：记住正交。参考文献和网址[1]最速下降法[2]最速实例...

模拟退火算法实现目录1 模拟退火算法原理2 模拟算法代码实现3 参考文献和网址目录1 模拟退火算法原理2 模拟算法代码实现3 参考文献和网址

前馈神经网络模型实现目录1 前馈神经网络原理2 算法步骤3 案例实现参考文献和网址目录1 前馈神经网络原理2 算法步骤上面的模型内容很丰富，属于过目就忘的那种。。。。个人认为还是直接上手项目会好点。算法步骤：3 案例实现import torchimport torch.nn as nnimport torchvision.datasets as dsets #torchvision为一个做图形处理的库，加载数据集import torchvision.transforms

分位数回归与stata找了半天也没找到我想看的那种完整点的stata教程，只好自己写一个了…参考教材：《用STATA学微观计量经济学》&《高级计量经济学及STATA应用_第2版》第一部分 纯理论更加详细的百度吧，很长很长，这里主要是拿来和ols比较。ols是均值回归，求解的方法是残差的平方最小，而这里就是对残差的绝对值用分位数做惩罚。（思想了解一下即可）第二部分 Stata...