分析101

1 实数线的拓扑我们先从探讨“距离”的概念出发。我们知道对于x,y∈Rx,y\in Rx,y∈R，可以定义一个非负的Euclidean distance∣x−y∣|x-y|∣x−y∣。通过这个，我们又可以定义某个点x∈Rx\in Rx∈R的ε\varepsilonε-neighbourhood，它就是集合S(x,ε)={y:∣x−y∣<ε}S(x,\varepsilon)=\{y:|x-y|\lt \varepsilon\}S(x,ε)={y:∣x−y∣<ε}，其中ε>0\varepsi

本文旨在整理一些集合论中的基础概念与定理，主要出处见参考文献。本文只列出特别简单的证明，略去复杂的证明。1 集合论基础首先，我们介绍Cartesian product（笛卡尔积、直积）A×BA\times BA×B，就是从AAA中、BBB中各取一个元素组成的有序数对。如果是nnn个集合，它们的Cartesian product就是一个nnn-tuples：×i=1nAi={(a1,…,an):ai∈Ai,i=1,…,n}\times_{i=1}^n A_i = \{(a_1,\ldots,a_n)

总体kkk-因子模型模型设定：x∼(μ,Σ)x\sim(\mu,\Sigma)x∼(μ,Σ)，rank(Σ)=r\text{rank}(\Sigma)=rrank(Σ)=r，固定k<rk\lt rk<r，则kkk因子模型的设定为x=Af+μ+ϵx=Af+\mu+\epsilonx=Af+μ+ϵ其中fff为ddd维随机向量，称为共同因子（common factor），AAA为d×kd\times kd×k的线性变换，称为因子载荷（factor loading）。一般会做出这些假设：f∼

本文对主成分分析做简要介绍。1 总体的主成分考虑x∼(μ,Σ)x\sim (\mu,\Sigma)x∼(μ,Σ)，其中Σ\SigmaΣ可分解为Σ=ΓΛΓ′\Sigma=\Gamma\Lambda\Gamma'Σ=ΓΛΓ′，Γ=(η1,…,ηn)\Gamma=(\eta_1,\ldots,\eta_n)Γ=(η1​,…,ηn​)，各列为单位特征向量，Λ\LambdaΛ为特征值降序排列的对角矩阵，协方差矩阵的秩rank(Σ)=r\text{rank}(\Sigma)=rrank(Σ)=r，对于k=1,…,r

上一篇讲了资产定价的核心等式，以及随机贴现因子SDF的一些知识，但是是在离散时间下做的推导，而有时为了研究的方便，需要在连续时间下进行建模，本文对此进行介绍。在连续时间下，假设投资者的效用函数为U({ct})=E[∫t=0∞e−δtu(ct)dt]U(\{c_t\})=\text{E}\left[\int_{t=0}^{\infty}e^{-\delta t}u(c_t) dt\right]U({ct​})=E[∫t=0∞​e−δtu(ct​)dt]假设投资者可以以价格ptp_tpt​购买某资产，

11.1 基本的定价等式假设有一笔在t+1t+1t+1时刻的payoff为xt+1x_{t+1}xt+1​的资产，该如何计算它在ttt时刻的价值？假如在今天买一只股票，那么下一期的payoff就是股票的价格加股息，即xt+1=pt+1+dt+1x_{t+1}=p_{t+1}+d_{t+1}xt+1​=pt+1​+dt+1​，xt+1x_{t+1}xt+1​是一个随机变量，投资者无法确切地知道他的投资在下一期会有多少收益，但他可以估算各种可能情况的概率。假设有一个代表性投资者，他的效用函数是U(ct,

有了《独立同分布的大样本OLS回归》的铺垫，现在进一步将OLS推广到平稳时间序列的情况。思路还是一样：进行点估计，再研究估计量的性质；构造统计量，在大样本下推导其渐近分布，并进行假设检验。这里的各种计算与上一篇非常像，需要注意的是大数定律和中心极限定理在这里的使用条件（遍历平稳、鞅差分过程等）与上一篇不同，因此也需要不同的假设。1 记号与假设记Q=E(xtxt′)Q=\text{E}(x_t x_t')Q=E(xt​xt′​)，V=Var(xtεt)V=\text{Var}(x_t\vare

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：进行点估计，再研究估计量的性质；构造统计量，在大样本下推导其渐近分布，并进行假设检验。本文考虑大样本情形中最简单的情况：独立同分布的随机样本。1 记号与假设由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用ttt，不再用iii。记Q=E(xtxt′)Q=\text{E}(x_

上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。1 假设这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。假设1 线性性：yi=xi′β+εiy_i=x_i'\beta+\varepsilon_iyi​=xi′​β+εi​，其中β\betaβ是未知参数向量，将所有NNN个样本放到一起，可以写成y=Xβ+εy=X\be

1 最小二乘法的历史不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre，而数学王子Gauss据说在更早时候就发现了该方法，但直到1809年他在发表计算天体运动轨道时才正式使用，两人也为谁是第一个发现的争论不休。Gauss毕竟是数学王子，1829年，他又首次证明出，在线

最近发布了一系列台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》的课程总结，分为4个部分，点击标题可查看：机器什么时候能够学习？（When Can Machines Learn？）机器为什么能够学习？（Why Can Machines Learn？）机器怎样学习？（How Can Machines Learn？）机器怎样可以学得更好？（How Can Machines Learn Better？）1 “3”的魔力整个课程中，“3”这个数字贯穿始终。比如在介绍

本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。该课程共16讲，分为4个部分：机器什么时候能够学习？（When Can Machines Learn？）机器为什么能够学习？（Why Can Machines Learn？）机器怎样学习？（How Can Machines Learn？）机器怎样可以学得更好？（How Can Machines Learn Better？）本文是第4部分，对应

本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。该课程共16讲，分为4个部分：机器什么时候能够学习？（When Can Machines Learn？）机器为什么能够学习？（Why Can Machines Learn？）机器怎样学习？（How Can Machines Learn？）机器怎样可以学得更好？（How Can Machines Learn Better？）本文是第3部分，对应

文章目录1 学习可行性的疑问2 机器学习的可靠性保证2.1 Hoeffding不等式2.2 机器学习中的Hoeffding不等式2.3 VC维2.4 VC Bound与模型复杂度惩罚2.5 有噪声时的VC Bound3 误差度量本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。该课程共16讲，分为4个部分：机器什么时候能够学习？（When Can Machines Learn？）机器为什么能够学习

文章目录1 机器学习的概念1.1 定义1.2 组成部分1.3 和其他领域的关系1.3.1 数据挖掘（DM）1.3.2 人工智能（AI）1.3.3 统计学（Statistics）2 分类学习之感知机模型2.1 PLA2.2 PLA会停下吗？2.3 Pocket算法3. 学习的分类本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。该课程共16讲，分为4个部分：机器什么时候能够学习？（When Can M