GZKPeng的博客

综述性质大作 《Relational inductive biases, deep learning, and graph networks》初闻不知曲中意，再闻已是曲中人，刚开始学习的时候对一些概念只是理解，但不明白其提出的意义，时隔多年，自发性想了解其中原因，遂再次回顾。深度学习的归纳偏置是什么？

围绕原点的旋转如下图， 在2维坐标上，有一点p(x, y) , 直线opの长度为r, 直线op和x轴的正向的夹角为a。 直线op围绕原点做逆时针方向b度的旋转，到达p’ (s,t)s = r cos(a + b) = r cos(a)cos(b) – r sin(a)sin(b) (1.1)t = r sin(a + b) = r sin(a)cos(b) + r cos(a) sin(b) (1.2)其中 x = r cos(a) , y = r sin(a)代入(1.1), (1.2

（1）卡特兰数满足以下性质：令h(0)=1,h(1)=1，catalan数满足递推式。h(n)= h(0)*h(n-1)+h(1)*h(n-2) + … + h(n-1)h(0) (n>=2)。也就是说，如果能把公式化成上面这种形式的数，就是卡特兰数。当然，上面这样的递推公式太繁琐了，于是数学家们又求出了可以快速计算的通项公式。h(n)=c(2n,n)-c(2n,n+1)(n=0,1,2...

先看看wiki的解释：蒙特卡罗方法（英语：Monte Carlo method），也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。通常蒙特卡罗方法可以粗略地分成两类：一类是所求解的问题本身具有内在的随机性，借助计算机的运算能力可以直接模拟这种随机的过程。另一种...

解析解(analytical solution)：就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。用来求得解析解的方法称为解析法〈analytic techniques〉，解析法即是常见的微积分技巧，例如分离变量法等。解析解为一封闭形式〈close...

Cumulative Matching Characteristics (CMC) curves 是目前行人重识别领域最流行的性能评估方法。考虑一个简单的 single-gallery-shot 情形，每个数据集中的ID(gallery ID)只有一个实例. 对于每一次的识别(query), 算法将根据 要查询的图像(query) 到所有gallery samples的距离从小到大排序，CMC t...

在pytorch0.3中做过一些关于张量求梯度的工作，目的是扩展一下pytorch的module，今天升级pytorch0.4，发现原先的代码不可用，报错如下： RuntimeError: cannot resize variables that require grad在pytorch 0.3中，允许对求梯度的变量改变size，改变size后，再次求偏导，梯度置0。实际上这是一个逻辑上的b...

三、核范数       核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说，可能大家就会陌生点。那它是干嘛用的呢？霸气登场：约束Low-Rank（低秩）。OK，OK，那我们得知道Low-Rank是啥？用来干啥的？       我们先来回忆下线性代数里面“秩”到底是啥？举个简单的例子吧：       对上面的线性方程组，第一个方程和第二个方程...

监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终...

前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得，要让自己在讲线性代数的时候不被那位强势的学生认为是神经病，还是比较难的事情。可怜的chensh，谁让你趟这个地雷阵？！色令智昏啊！线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的...

从拉普拉斯矩阵说到谱聚类0 引言    11月1日上午，机器学习班第7次课，邹博讲聚类（PPT），其中的谱聚类引起了自己的兴趣，他从最基本的概念：单位向量、两个向量的正交、方阵的特征值和特征向量，讲到相似度图、拉普拉斯矩阵，最后讲谱聚类的目标函数和其算法流程。    课后自己又琢磨了番谱聚类跟拉普拉斯矩阵，打算写篇博客记录学习心得， 若有不足或建议，欢迎随时不吝指出，thanks。1 矩阵基础  ...