dede酱の日常思考

大喜利”本来是指一系列日本传统戏剧游戏，随着时代的快速发展。现代的“大喜利”，目前一般是指一种叫Tonchi (頓智)的游戏，通常以游戏节目或智力问答节目的形式呈现，可以参考B站的日本著名节目IPPON大獎賽 (视频链接)。玩家被提供各种多模态内容，可以是简单的问题、随机图像等，然后提示玩家想出幽默的、有创意的反应，以达到令人惊讶的喜剧效果，如下图所示的例子。例子1) 在第一个“图文到文”的例子中，玩家要求阅读图像，和上面对应的文字，尝试想出一段文字填入对应的“问号?

regularization的目的是减少overfit的影响，如下图所示， H10H10H_{10}的意思是假设用10次多项式去拟合数据，那么显然有H10⊃H2H10⊃H2H_{10} \supset H_{2}，不过由于假设H10H10H_{10}带来的解可能会有很多，所以我们可以约束一下，如加强假设为H2H2H_{2}，这样就有可能能防止过拟合。 继续用多项式的例子来看，如上图所示...

在之前的PLA分类中，实际上可行的解（线）是有很多种的，但是有的线不太好，如图第一行第一幅图所示，如果这条线很靠近某个（红色）的点时候，那么容错率较低，这里每个点的灰色圆表示的是，给它一个位置上的扰动即可能存在的位置，这样的话，显然图第一行的最后一幅图所给的线是比较好的（从这个角度上看）注意到，灰色圆的半径最够大，实际上等价于这条线越“胖”，如图第二行所示。上面说的是SVM的基本思想。 ...

本章在数学上的内容较少，下面主要是讲述思想 弱小的模型集合起来也可以变得足够强大 有时候可以是所有弱小模型gtgtg_t，对其来一个权相同的投票模型，即G(x)=sign(∑Tt=11⋅gt(x))G(x)=sign(∑t=1T1⋅gt(x))G(x)=sign(\sum_{t=1}^T1 \cdot g_t(x))，类似的还有不同的权重，以及更加广义的G(x)=sign(∑Tt=...

下面讨论的是对偶支持向量机，先看引入 由上一节我们知道，朴素支持向量机可以通过二次规划来直接解决，但是我们假设xxx本身是一个ddd维的向量，然后由于可能有复杂边界，所以我们常常要讲xxx转换到ZZZ空间上，通过zn=ϕ(xn)zn=ϕ(xn)z_n=\phi(x_n)来实现，在实际中这里的ϕϕ\phi往往是升维度的，因为一般是不可线性可分，然后（比如）高维的时候就变成线性可分了，不妨比如如...

Radial Basis Function Network 即RBF网络，这个名字平常并不常见，不过其中推导过程中的思想是很有学习价值的。 我们称上图中的h(x)h(x)h(x)即为RBFnetwork，之所以称之为网络是因为其实它可以看做是上右（红色）所示的“网络”。对应于SVM的结果，是 考虑一个full RBF network，即让所有的μμ\mu取遍所有的xmxmx_m，如...

上回讲到的矩阵QQQ中的每一个分量是qn,m=ynymzTnzm,qn,m=ynymznTzm,q_{n,m}=y_ny_mz^T_nz_m, 而zTnzm=ϕ(xn)Tϕ(xm)znTzm=ϕ(xn)Tϕ(xm)z^T_nz_m=\phi(x_n)^T\phi(x_m)，首先要对xixix_i进行变换然后求内积，能不能将这两步骤合起来呢？（中心思想） 下面来一个栗子： 首先这里的ϕ2(...

Random Forest=bagging+decision tree随机森林实际上是决策树的bagging版，由bagging的原理，我们大致可以预想到随机森林的效果要比角决策树会好很多。那么按照bagging的思想的话，我们必须尽量让我们的各棵决策树尽量不同，本课中提出我们还可以对features进行boost， 即假设本来有很多的features，我们可以每次随机抽取一定量（d...

AdaBoost-DTree根据AdaBoost的思想， 我们希望在生成多个分类器gtgtg_t的时候，增加一个类似于adaboost的权重ututu_t，即gt=A(D,ut)gt=A(D,ut)g_t=A(D,u^{t})，在最后组成最终分类器GGG的时候，增加权重at=at(ut)at=at(ut)a_t=a_t(u^t)，这是整体的思路。那么现在的问题是如何嵌入一个ututu...

神经网络的话，向前计算是容易地，基本上就是矩阵的乘法加上一点点激活函数的变换，所以这里不做笔记。Backprop on NNet下面对学习过程做一点笔记，backprop实际上就是偏导的链式法则 我们考虑的是平方误差，即 对于输出层，如下图绿框所示，我们对enene_n关于第LLL层的权重做偏导 对于中间的隐含层，如红色框所示做偏导，有暂时不知道∂en∂s(l)j∂e...

Adaptive BoostingAdaptive Boosting也是一种集成模型，课程中以下面的过程为例 老师让同学们对图中的水果进行分类，如同学们说red是苹果，然后老师就将正确分类的水果变小，错误分类的水果变大，这样的话，在下一轮的划分中，同学们就容易从错误的样例中找到“新的正确的”分类方法，最后，将这堂课的所有分类组合起来就是最后的很强的分类方法。Adaptive Boosti...

决策树也是有集成模型的形式，如图所示 如果以每一条路径为条件qtqtq_t，叶子为最后的分类函数gtgtg_t（有时候是常数）的话，那么整棵树可以表示为G(x)=∑Tt=1qt⋅gtG(x)=∑t=1Tqt⋅gtG(x)=\sum_{t=1}^T q_t \cdot g_t，这是条件型集成模型的形式。更一般地，我们常常写成递归的形式，即 G(x)=∑c=1C[b(x)=c]Gc(x),G(...

pytorch的自动求导很好用，可以利用它对一些求导困难的问题做一些最优化问题，比如昨天狗菜提了一个问题：求一个三维点的位置，使得它到一个直线族（三维）的距离之和最小实际上就是求如下最优化问题min∑i∣Aix+Biy+Ciz+Di∣Ai2+Bi2+Ci2+Ci2min\sum_i \frac{|A_ix+B_iy+C_iz+D_i|}{\sqrt{ A^2_i+B^2_i+C^2_i+...

Soft-Margin Support Vector Machine用hard-margin分类效果较差的主要原因有两点，分别是变换过于powerful以及坚持要求严格分开，不容得一点错误。 既然如此不妨像pocket那样，容许一定的错误，让犯错最小即可，不必完全正确 由于∑∑\sum内的量并不是一个线性量，这样的话就不能将其转换为一个QP问题，设置不好解，所以我们建立一个新的模型...

由于后面关于SVM和LR，logR的结合，这里有必要重新回顾一下LR，logR的一些相关内容。Linear Regression我们这里考虑的是平方误差，即 minwEin=1N||Xw−y||2,minwEin=1N||Xw−y||2,min_w E_{in}=\frac{1}{N}||Xw-y||^2, 我们考察∇Ein=0∇Ein=0\nabla E_{in}=0，即可以得到...

前言前几天做了下leetcode459，这道看起来平淡无奇的题目，却是如此的好玩。我们经常看网上一些人写的题解，粗暴，直接上代码，然后唯一的中文是“水题，不解释”，科科哒，港真，有多少人知道其数学原理，反正我是不建议轻视每一个我们碰到的问题。首先，回顾一下问题： 简单的说，就是判断一个字符串是否能完全被自身一个子串多次拼接得到。比如“ababab”可以由“ab”拼接而成（我们称之为“好串”），“

首先，前几天在leetcode上刷到了一题，做的时候边发现这个难度为easy的题目实际上是非常有意思的。先把题目放上来： 【题目翻译】我们把满足如下性质的自然数nn称为快乐数：以19为例，若12+92=81→82+12=68→62+82=100→12+02+02=11^2+9^2=81→8^2+1^2=68→6^2+8^2=100→1^2+0^2+0^2=1，即最后收敛到1的数称为快乐数。那么

本文是2015数学建模小美赛的论文 ~(≧▽≦)/~特别特别地精彩的说呢，伦家独立地想出了和泰森多边形类似的东西呢，好激动的说，效果也是棒棒的呢，而且本文推导过程及其严谨的哦╮(╯▽╰)╭液。首先来看看两个动态效果图（模拟南极大陆气温） 还有另一个效果图 下面是全文 ╮(╯▽╰)╭

两年前，大一的寒假，我自学C语言的时候，就碰到了这个问题。一年前，在某处发了一篇科普文章来解释这个问题。如今我觉得有点必要把这个问题放在这里，因为每次都有人在问这个几乎必然会遇到的问题。先看如下例子：（以中心极限定理为例） 运行结果为： 哈哈，问题就来了，究竟程序出了什么问题导致得到的随机数都是一样的呢？ 汗，当时我调试了一个多小时呀（主要是我的程序也犯了同样的错误，但我用另一种方

本周六听了龙飞关于[PLA分类的算法]之后觉得异常巧妙，本来想自己写写博客的，但没想到，我发现有个博客写得是在是太好了，故这次就转载一下叭. via.HappyAngel博客园的博客 地址：http://www.cnblogs.com/HappyAngel/p/3456762.html 图片摘要： 核心证明部分：

上周六牛哥来组织讲课，讲到了一个有趣的引理：（如图所示） 条件可能需要加强，注意到累计分布函数是不减的，现加强为“累计分布函数是严格单调的（这在图像处理直方图均衡中很常见）”，另一方面由于随机变量rr是连续性随机变量，容易证明分布函数为连续函数。 由已知Fr(x)=P{r<x}=∫x−∞Pr(w)dwF_r(x)=P\{r<x\}=\int_{-\infty}^xP_r(w)

CoinChange问题CoinChange问题是很经典的问题，在leetcode上有518. Coin Change 2 h和322. Coin Change 。其中：Coin Change 2：给定固定有限种类a1,a2,...,ama_1,a_2,...,a_m的硬币，求换成金额nn的方法数，即求不定方程∑mi=1aiki=n\sum_{i=1}^m a_i k_i=n的非负解的个数。Co

回顾题意：也就是说，找到最小的一种进位制aa，使得数nn在aa进位制下能表示为(111..111)a(111..111)_a的形式，用数学语言来说就是，对任意的自然数n≥3n\geq3，求最小的aa使得，存在自然数kk，让 n=1+a+a2+...+akn=1+a+a^2+...+a^k 那么题意立马想到若干个问题：这样的aa是否一定存在？是否唯一给定kk，aa是否存在？(反过来呢？单调性有

hammingWeight的动态规划以前做过一道题（191. Number of 1 Bits ）讲的是给定一个数，求它二进制下的1的个数。如果是对于一个数，那么可以用位运算黑魔法：（对末尾做与1的与运算）class Solution(object): def hammingWeight(self, n): ans=0 while n:

上次听AK讲到谱分解的时候，若有所思，下面将对思考稍作记录。矩阵谱分解关于谱分解有很多定义，主要区别在于条件的强弱，有的要求一个nn阶矩阵不仅要求可对角化，而且加强条件至其nn个特征值λ1,λ2,...,λn\lambda_1,\lambda_2,...,\lambda_n互异，我们这里由于不深入讨论谱分解，所以就采用最简单的定义来说。 定义：若nn阶矩阵AA可对角化，那么存在nn个nn阶方阵G

【不知道是不是我想太多了，还是脑抽了？】 今天做了一个有意思问题，即122. Best Time to Buy and Sell Stock II 。简单地用中文描述问题，也就是用[a1,a2,...,ana_1,a_2,...,a_n]表示一支股票在nn个时刻的价格，问如何买卖股票可以使得收益最大。比如[1,2,6,8,9]，可以在1的时候买入6的时候卖出，8的时候买入，9的时候卖出，此时收益为

最近独自一人参加完成了GMCM2017-D题，实际上是做几个问题，本人在机器视觉上虽然饶有兴趣，但时毕竟没有经验，所以做出来的效果也是差强人意，不过第三问做出来后真的是很开心。可以简短地将问题概括如下：对静态背景进行前景提取对动态视频进行前景提取对晃动视频进行前景提取对多视角的视频进行有效的前景提取前景提取的作用（群体性事件的预警？）对静态背景进行前景提取对于静态的背景，我们可以采用高斯

//$0x5f337b4a$算法的C语言实现与速度测试}#include<stdio.h>#include<time.h>#include<stdio.h>#define N 100000#include<math.h>float Q_tsqrt(float number){ long i; float x2,y; const float threehalfs=

这是去年讲课讲算法时候的一篇讲义