AugustMoore的博客

Conditional Expectation(条件期望)1.Derivation假设有两个离散随机变量X，Y。他们的概率密度分别用 表示。则条件期望E(Y|X)为：And:  Remark: 是关于X的函数。有：  ...

讨论最简单情况：     以神经网络为例：     假设在softmax层，输入的数据是N维的一维数组，输出结果是多分类的各个概率，假设为C类。--1. input: x --> import data with dimension N, can be writen as ,  in neural network, means the last hidden layer outp...

1. Lipschitz Funcion（李比西斯函数）对于不光滑(nonsomooth)的凸函数的分析引入了Lipschitz functions:定义：2.Nonexpansiveness of Projection(投影的非延展性）Projection operator is non-expansive means:也就是说， 投影操作是L小于1的L-Lipschi...

Field(域)Dfn: ”Field“ is a commutative ring, s.t. every non-zero element has inverse.这个交换环对于乘法和加法都满足交换性，而且对于所有非零元素都存在逆。对加法逆，即 对乘法逆，即这两个都满足，u是对应元素的逆。加法的逆写成-v, 乘法的逆写成都是可以的，都是符号表示。Polynomials o...

一些域上多项式的概念prime(素)Dfn:Then p is prime.Unit(单位)Dfn： If is unit, and, then:. A given field may have infinite units. 表示minimal and monoic polynomial of g.Relative prime(相对素)Dfn: is...

向量空间(vector space)Definition of vector space: a vector space is a set closed under vector additon and scalar multiplication.满足加法交换律、结合律、分配律，存在加法单位元 满足标量乘法的交换律、结合律、分配律，存在乘法单位元Cyclic Subspace(循环子空...

一、群论幺半群(monoid)之前看老师讲的叫Abelian monoid（阿贝尔幺半群），但是搜不到。A monoid is a set closed under an associative binary operation and has an identity element such that.Binary operation(二元运算): f(x, y) an op...