- 博客(20)
- 收藏
- 关注
RSS订阅原创 二元对数正态分布 (bivariate lognormal distribution) 的几个性质
二元对数正态分布 - bivariate lognormal distribution - 的几个性质摘要对数正态分布二元正态分布 (bivariate normal distribution)摘要本文讲简要介绍二元对数正态分布 (bivariate lognormal distribution) 的期望、方差，以及其相关性系数的性质。对数正态分布如果随机变量 UUU 取值大于 0，并且 X=log(U)X = \log (U)X=log(U), X∼N(μx, σx2)X \sim N(\mu_
2022-01-23 16:29:15
6241
2
原创 Sutton and Barto 教材中多臂老虎机（k-armed bandit testbed）模拟
Sutton and Barto教材中多臂老虎机（k-armed testbed）模拟简介问题描述kkk-armed bandit 问题ϵ\epsilonϵ-greedy 和 greedy 算法q∗(a)q_{*}(a)q∗(a) 和 Qt(a)Q_{t}(a)Qt(a)简介在 Sutton 和 Barto 的经典教材 《Reinforcement learning - an introduction》的第二章中，有一个模拟10臂老虎机 (10-armed bandit testbed) 的例子。这
2021-09-18 22:08:10
779
原创 权重衰减（weight decay）在贝叶斯推断（Bayesian inference）下的理解
权重衰减在贝叶斯观点下的理解摘要权重衰减摘要对于有过拟合的模型，我们经常会用权重衰减（weight decay）这一种正则化（regularization）的方法。本文介绍在贝叶斯视角下对权重衰减的理解。权重衰减一般情况下，假设我们原来的损失函数是 J(θ)\displaystyle J(\theta)J(θ)，加入权重衰减之后，损失函数就变成了 J(θ)+λ∑iwi2\displaystyle J(\theta) + \lambda \sum_i w_i^2J(θ)+λi∑wi2。其中 λ\l
2021-05-16 23:08:47
1119
原创 位运算遍历二进制数表示的集合的子集
遍历二进制数表示的集合的子集问题描述用二进制数表示集合暴力循环程序位运算寻找子集程序问题描述在一些算法问题中，我们常常用计算机中的二进制数来表示一个集合。在程序设计问题中常被称作是状态压缩。举个例子来说，如果有三个人{A, B, C}，我们就可以用 1112111_21112 来表示这三个人组成的集合 { A，B，C }。这里的下标 2 表示是二进制数。而二进制数 1102110_21102 就可以表示 {A，B}。有时候我们须要遍历一个集合的子集，这如何用程序实现呢？这篇短文就来介绍一个小的技
2021-02-10 19:40:23
2171
4
原创 椭圆是一个凸集的证明
椭圆是一个凸集的证明常见的凸集椭圆是凸集的证明从 norm 的角度去看 ellipsoid常见的凸集我们在 Affine set 和 convex set 的定义 一文中讲解了凸集（convex set）的概念。我们先来回顾一下凸集的定义：如果连接集合 CCC 当中的任何两点构成的线段也在集合 CCC 之中，那么我们就说集合 CCC 是一个 convex set。或者我们用数学的语言来描述：对于集合 CCC 中的任何 x1,x2x_1, x_2x1,x2，对任意 0≤θ≤10 \leq \th
2020-12-27 20:54:08
6360
6
原创 Affine set 和 convex set 的定义
Affine set 和 convex set 的定义什么是 affine set什么是 convex set什么是 affine set假设有一个集合 C∈RnC \in \mathbb{R}^nC∈Rn, 如果连接集合 CCC 当中的任何两点构成的直线也在集合 CCC 之中，那么我们就说集合 CCC 是一个 affine set。如果用数学语言来表述，就是对于任何 x1,x2∈Cx_1, x_2 \in Cx1,x2∈C，对任意 θ∈R\theta \in \mathbb{R}θ∈R，我们有 θ
2020-07-04 10:51:06
4799
原创 t-分布（学生分布）, t-distribution 的定义及性质
t-分布, t-distribution 的定义及性质摘要ttt-分布的定义摘要ttt-分布的定义
2020-05-04 09:58:06
39908
5
原创 chi square-卡方分布的定义及性质
chi square-卡方分布的定义及性质摘要χ2\chi^2χ2分布 (卡方分布) 的定义gammagammagamma 分布gammagammagamma 分布的期望、方差及距生成函数χ2\chi^2χ2分布的 pdfχ2\chi^2χ2分布的性质χ2\chi^2χ2分布与正态分布的关系scipy 中的函数附录参考文献摘要χ2\chi^2χ2分布 (卡方分布) 的定义gammagamma...
2020-04-11 19:55:00
25383
7
原创 矩阵的零空间和零度
矩阵的零空间和零度矩阵的零空间 (nullspace)矩阵的零度 (nullity)秩-零度定理 (The Rank-Nullity Theorem)numpy 与 scipy 中求矩阵的秩矩阵的零空间 (nullspace)给定矩阵 A∈Rm×nA \in \mathbb{R}^{m \times n}A∈Rm×n，那么矩阵的零空间定义为：如果 X∈Rn×1X \in \mathbb{R}...
2020-04-05 12:19:50
18946
原创 奇异值分解 -- singular value decomposition (SVD)
奇异值分解-- singular value decomposition摘要什么是奇异值分解左右奇异向量程序实现不确定性附录与 PCA 的关系参考文献摘要在本文中我们首先介绍什么是奇异值分解(singular value decomposition, SVD)。我们会给出 SVD 的公式，以及其在Python中的实现。我们也会讨论 SVD 与 主成分分析 (principal componen...
2020-03-28 17:07:34
1073
原创 主成分分析（principal component analysis, PCA）公式
主成分分析（principal component analysis, PCA）公式主成分分析什么是主成分求解 PCA 的公式数学证明程序验证参考文献主成分分析什么是主成分要进行主成分分析（principal component analysis），我们首先要理解什么是主成分。假设我们的数据（红色的点）如下图所示。我们看到，每一个红色的点都有两个坐标，(x, y)(x, \, y)(x,...
2020-03-15 16:31:15
24728
1
原创 生成一定相关性的二元正态分布
生成一定相关性的二元正态分布二元正态分布二元正态分布概率密度函数二元正态分布随机数的生成程序实现多元正态分布的情况生成服从N(μ, Σ)N(\mathbf{\mu}, \, \Sigma)N(μ,Σ)的nnn 元正态分布多元情况的程序实现参考文献二元正态分布二元正态分布概率密度函数我们先来看什么是二元正态分布。我们知道单变量标准正态分布X∼N(0, 1)X \sim N(0, \, 1)X∼...
2020-03-07 15:57:10
8115
4
原创 单变量线性判别分析分类方法
单变量线性判别分析分类方法单变量线性判别分析用贝叶斯方法进行分类单变量线性判别分析分类参数估计程序实现参考文献单变量线性判别分析用贝叶斯方法进行分类线性判别分析与贝叶斯分类方法的关系十分紧密。我们先来看怎么用贝叶斯方法进行分类。假设我们有数据集{(X1,Y1),(X2, Y2),⋯ ,}\{(X_1, Y_1), (X_2, \, Y_2), \cdots, \}{(X1,Y1),(...
2020-02-29 18:46:59
1602
原创 单变量线性回归的最小二乘法公式
单变量线性回归的最小二乘法公式单变量线性回归线性回归系数的确定导数方法配方法简单程序验证单变量线性回归假设有nnn个点 (x1, y1), (x2, y2),⋯ , (xn, yn)(x_1, \, y_1), \, (x_2, \, y_2), \cdots, \, (x_n, \, y_n)(x1,y1),(x2,y2),⋯,(xn,yn)， 我们希望用一个线性关系y=β0+β...
2020-02-22 17:03:47
2120
原创 服从正态分布随机数的生成
服从正态分布随机数的生成生成单变量正态分布随机数Box-Muller 算法Accept/Reject 方法Marsaglia-Bray 算法附录Box-Muller 算法的简要证明生成单变量正态分布随机数Box-Muller 算法Box-Muller算法是利用两个i.i.d. (independent identical distribution)的U(0, 1)U(0, \, 1)U(0,...
2020-02-19 19:08:58
4898
6
原创 利用q-q plot检验样本数据分布
利用q-q plot检验样本数据分布什么是q-q plot举例检测正态分布（Normal distribution）检测均匀分布（uniform distribution）什么是q-q plot在统计学中，q-q plot（又叫quantile-quantile plot）是一条可以用来帮助我们判断一个样本数据是否是从某个理论分布抽样而得的一条曲线。比如，我们想对某一个样本数据进行统计分析，并...
2020-02-11 18:15:47
9576
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人