<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[kdazhe的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/kdazhe</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; kdazhe]]></copyright><item><title><![CDATA[线性回归误差项方差的估计]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/126091215</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/126091215</guid><author>kdazhe</author><pubDate>Sun, 23 Oct 2022 22:13:47 +0800</pubDate><description><![CDATA[线性回归误差项的估计]]></description><category></category></item><item><title><![CDATA[线性回归系数的几个性质]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/125463845</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/125463845</guid><author>kdazhe</author><pubDate>Sun, 17 Jul 2022 22:49:52 +0800</pubDate><description><![CDATA[线性回归拟合系数的几个性质]]></description><category></category></item><item><title><![CDATA[二元对数正态分布 (bivariate lognormal distribution) 的几个性质]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/122332587</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/122332587</guid><author>kdazhe</author><pubDate>Sun, 23 Jan 2022 16:29:15 +0800</pubDate><description><![CDATA[二元对数正态分布 - bivariate lognormal distribution - 的几个性质摘要对数正态分布二元正态分布 (bivariate normal distribution)
摘要
本文讲简要介绍二元对数正态分布 (bivariate lognormal distribution) 的期望、方差，以及其相关性系数的性质。
对数正态分布
如果随机变量 UUU 取值大于 0，并且 X=log⁡(U)X = \log (U)X=log(U), X∼N(μx, σx2)X \sim N(\mu_]]></description><category></category></item><item><title><![CDATA[欧拉路径与 de Bruijn 序列]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/122160401</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/122160401</guid><author>kdazhe</author><pubDate>Tue, 04 Jan 2022 20:32:56 +0800</pubDate><description><![CDATA[本文将简要介绍欧拉路径与 de Bruijn 序列]]></description><category></category></item><item><title><![CDATA[Sutton and Barto 教材中多臂老虎机（k-armed bandit testbed）模拟]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/120277230</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/120277230</guid><author>kdazhe</author><pubDate>Sat, 18 Sep 2021 22:08:10 +0800</pubDate><description><![CDATA[Sutton and Barto教材中多臂老虎机（k-armed testbed）模拟简介问题描述kkk-armed bandit 问题ϵ\epsilonϵ-greedy 和 greedy 算法q∗(a)q_{*}(a)q∗​(a) 和 Qt(a)Q_{t}(a)Qt​(a)
简介
在 Sutton 和 Barto 的经典教材 《Reinforcement learning - an introduction》的第二章中，有一个模拟10臂老虎机 (10-armed bandit testbed) 的例子。这]]></description><category></category></item><item><title><![CDATA[权重衰减（weight decay）在贝叶斯推断（Bayesian inference）下的理解]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/116431043</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/116431043</guid><author>kdazhe</author><pubDate>Sun, 16 May 2021 23:08:47 +0800</pubDate><description><![CDATA[权重衰减在贝叶斯观点下的理解摘要权重衰减
摘要
对于有过拟合的模型，我们经常会用权重衰减（weight decay）这一种正则化（regularization）的方法。本文介绍在贝叶斯视角下对权重衰减的理解。
权重衰减
一般情况下，假设我们原来的损失函数是 J(θ)\displaystyle J(\theta)J(θ)，加入权重衰减之后，损失函数就变成了 J(θ)+λ∑iwi2\displaystyle J(\theta) + \lambda \sum_i w_i^2J(θ)+λi∑​wi2​。其中 λ\l]]></description><category></category></item><item><title><![CDATA[位运算遍历二进制数表示的集合的子集]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/113728021</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/113728021</guid><author>kdazhe</author><pubDate>Wed, 10 Feb 2021 19:40:23 +0800</pubDate><description><![CDATA[遍历二进制数表示的集合的子集问题描述用二进制数表示集合暴力循环程序位运算寻找子集程序
问题描述
在一些算法问题中，我们常常用计算机中的二进制数来表示一个集合。在程序设计问题中常被称作是状态压缩。
举个例子来说，如果有三个人{A, B, C}，我们就可以用 1112111_21112​ 来表示这三个人组成的集合 { A，B，C }。这里的下标 2 表示是二进制数。而二进制数 1102110_21102​ 就可以表示 {A，B}。
有时候我们须要遍历一个集合的子集，这如何用程序实现呢？这篇短文就来介绍一个小的技]]></description><category></category></item><item><title><![CDATA[椭圆是一个凸集的证明]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/111350299</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/111350299</guid><author>kdazhe</author><pubDate>Sun, 27 Dec 2020 20:54:08 +0800</pubDate><description><![CDATA[从不同的角度去证明椭圆是一个凸集（convex set）。]]></description><category></category></item><item><title><![CDATA[Affine set 和 convex set 的定义]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/107029996</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/107029996</guid><author>kdazhe</author><pubDate>Sat, 04 Jul 2020 10:51:06 +0800</pubDate><description><![CDATA[Affine set 和 convex set 的定义什么是 affine set什么是 convex set
什么是 affine set
假设有一个集合 C∈RnC \in \mathbb{R}^nC∈Rn, 如果连接集合 CCC 当中的任何两点构成的直线也在集合 CCC 之中，那么我们就说集合 CCC 是一个 affine set。如果用数学语言来表述，就是对于任何 x1,x2∈Cx_1, x_2 \in Cx1​,x2​∈C，对任意 θ∈R\theta \in \mathbb{R}θ∈R，我们有 θ]]></description><category></category></item><item><title><![CDATA[t-分布（学生分布）, t-distribution 的定义及性质]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/105378229</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/105378229</guid><author>kdazhe</author><pubDate>Mon, 04 May 2020 09:58:06 +0800</pubDate><description><![CDATA[t-分布, t-distribution 的定义及性质摘要ttt-分布的定义
摘要
ttt-分布的定义

]]></description><category></category></item><item><title><![CDATA[chi square-卡方分布的定义及性质]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/105395573</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/105395573</guid><author>kdazhe</author><pubDate>Sat, 11 Apr 2020 19:55:00 +0800</pubDate><description><![CDATA[chi square-卡方分布的定义及性质摘要χ2\chi^2χ2分布 (卡方分布) 的定义gammagammagamma 分布gammagammagamma 分布的期望、方差及距生成函数χ2\chi^2χ2分布的 pdfχ2\chi^2χ2分布的性质χ2\chi^2χ2分布与正态分布的关系scipy 中的函数附录参考文献
摘要
χ2\chi^2χ2分布 (卡方分布) 的定义
gammagamma...]]></description><category></category></item><item><title><![CDATA[矩阵的零空间和零度]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/105299436</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/105299436</guid><author>kdazhe</author><pubDate>Sun, 05 Apr 2020 12:19:50 +0800</pubDate><description><![CDATA[矩阵的零空间和零度矩阵的零空间 (nullspace)矩阵的零度 (nullity)秩-零度定理 (The Rank-Nullity Theorem)numpy 与 scipy 中求矩阵的秩
矩阵的零空间 (nullspace)
给定矩阵 A∈Rm×nA \in \mathbb{R}^{m \times n}A∈Rm×n，那么矩阵的零空间定义为：
如果 X∈Rn×1X \in \mathbb{R}...]]></description><category></category></item><item><title><![CDATA[奇异值分解 -- singular value decomposition (SVD)]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/105057360</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/105057360</guid><author>kdazhe</author><pubDate>Sat, 28 Mar 2020 17:07:34 +0800</pubDate><description><![CDATA[奇异值分解-- singular value decomposition摘要什么是奇异值分解左右奇异向量程序实现不确定性附录与 PCA 的关系参考文献
摘要
在本文中我们首先介绍什么是奇异值分解(singular value decomposition, SVD)。我们会给出 SVD 的公式，以及其在Python中的实现。我们也会讨论 SVD 与 主成分分析 (principal componen...]]></description><category></category></item><item><title><![CDATA[Tensorflow 简单线性规划和逻辑回归]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104743911</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104743911</guid><author>kdazhe</author><pubDate>Sat, 21 Mar 2020 11:21:00 +0800</pubDate><description><![CDATA[Tensorflow 简单线性规划和罗辑回归

]]></description><category></category></item><item><title><![CDATA[主成分分析（principal component analysis, PCA）公式]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104737018</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104737018</guid><author>kdazhe</author><pubDate>Sun, 15 Mar 2020 16:31:15 +0800</pubDate><description><![CDATA[主成分分析（principal component analysis, PCA）公式主成分分析什么是主成分求解 PCA 的公式数学证明程序验证参考文献
主成分分析
什么是主成分
要进行主成分分析（principal component analysis），我们首先要理解什么是主成分。假设我们的数据（红色的点）如下图所示。

我们看到，每一个红色的点都有两个坐标，(x, y)(x, \, y)(x,...]]></description><category></category></item><item><title><![CDATA[生成一定相关性的二元正态分布]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104599229</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104599229</guid><author>kdazhe</author><pubDate>Sat, 07 Mar 2020 15:57:10 +0800</pubDate><description><![CDATA[生成一定相关性的二元正态分布二元正态分布二元正态分布概率密度函数二元正态分布随机数的生成程序实现多元正态分布的情况生成服从N(μ, Σ)N(\mathbf{\mu}, \, \Sigma)N(μ,Σ)的nnn 元正态分布多元情况的程序实现参考文献
二元正态分布
二元正态分布概率密度函数
我们先来看什么是二元正态分布。我们知道单变量标准正态分布X∼N(0, 1)X \sim N(0, \, 1)X∼...]]></description><category></category></item><item><title><![CDATA[单变量线性判别分析分类方法]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104468389</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104468389</guid><author>kdazhe</author><pubDate>Sat, 29 Feb 2020 18:46:59 +0800</pubDate><description><![CDATA[单变量线性判别分析分类方法单变量线性判别分析用贝叶斯方法进行分类单变量线性判别分析分类参数估计程序实现参考文献
单变量线性判别分析
用贝叶斯方法进行分类
线性判别分析与贝叶斯分类方法的关系十分紧密。我们先来看怎么用贝叶斯方法进行分类。
假设我们有数据集{(X1,Y1),(X2, Y2),⋯ ,}\{(X_1, Y_1), (X_2, \, Y_2), \cdots,  \}{(X1​,Y1​),(...]]></description><category></category></item><item><title><![CDATA[单变量线性回归的最小二乘法公式]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104437057</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104437057</guid><author>kdazhe</author><pubDate>Sat, 22 Feb 2020 17:03:47 +0800</pubDate><description><![CDATA[单变量线性回归的最小二乘法公式单变量线性回归线性回归系数的确定导数方法配方法简单程序验证
单变量线性回归
假设有nnn个点 (x1, y1), (x2, y2),⋯ , (xn, yn)(x_1, \, y_1), \, (x_2, \, y_2), \cdots, \, (x_n, \, y_n)(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)， 我们希望用一个线性关系y=β0+β...]]></description><category></category></item><item><title><![CDATA[服从正态分布随机数的生成]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104283447</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104283447</guid><author>kdazhe</author><pubDate>Wed, 19 Feb 2020 19:08:58 +0800</pubDate><description><![CDATA[服从正态分布随机数的生成生成单变量正态分布随机数Box-Muller 算法Accept/Reject 方法Marsaglia-Bray 算法附录Box-Muller 算法的简要证明
生成单变量正态分布随机数
Box-Muller 算法
Box-Muller算法是利用两个i.i.d. (independent identical distribution)的U(0, 1)U(0, \, 1)U(0,...]]></description><category></category></item><item><title><![CDATA[利用q-q plot检验样本数据分布]]></title><link>https://blog.youkuaiyun.com/kdazhe/article/details/104219298</link><guid>https://blog.youkuaiyun.com/kdazhe/article/details/104219298</guid><author>kdazhe</author><pubDate>Tue, 11 Feb 2020 18:15:47 +0800</pubDate><description><![CDATA[利用q-q plot检验样本数据分布什么是q-q plot举例检测正态分布（Normal distribution）检测均匀分布（uniform distribution）
什么是q-q plot
在统计学中，q-q plot（又叫quantile-quantile plot）是一条可以用来帮助我们判断一个样本数据是否是从某个理论分布抽样而得的一条曲线。比如，我们想对某一个样本数据进行统计分析，并...]]></description><category></category></item></channel></rss>