only粉丝-优快云博客

原创 Lecture 21: Bayesian Statistical Inference

前言：这节课开始讲inference，介绍了inference的概念，应用以及不同类型的inference的方法。上图介绍了统计研究的流程，即从现实中通过实验获取data，通过data总结出模型，再通过模型对现实做出预测。概率问题和统计问题是有区别的，概率问题有确定的唯一的答案，因为概率问题是被完整定义的，所以我们总能得到一个事件对应的独一无二的解。统计问题往往有多种方法来处理，例如对一组数据，使用模型不同，预测的数据可能也会不同。inference问题的分类，例如上图S是人喊话，经过a衰减，

2021-12-29 18:54:07 631

原创 Lecture 20: Central Limit Theorem

前言：本节介绍中心极限定理，以及在二项分布中的应用。复习上一节课内容举个实际例子，布朗运动，在水中的微粒由于被水分子随机的撞击而产生的运动，微粒下一秒钟的位移是符合正态分布，因为微粒每秒钟会受到水分子大量的撞击。上图显示了，随着n变大，SnS_nSnPMF的变化，由此可见，不论原始的分布如何，随着n变大，最终的分布都趋向于正态分布。这里举了与上一节课相同的例子，爱好可口可乐，还是百事。其中f为爱好可口可乐的概率。想要通过采样，得到与真实值f的误差小于0.01的置信度大于0.05的最小采样次

2021-12-28 20:15:05 251

原创 Lecture 19: Weak Law of Large Numbers

前言：用Markov 不等式引出Chebyshev 不等式，介绍收敛这个概念，最后介绍weak law of large numbers，即sample mean 收敛到E[X]E[X]E[X]。之所以有weak law 这个词，是因为还有strong law。这里只介绍weak law of large numbers。如果有成千上万的企鹅，想要得到他们的平均身高，也就是期望身高E[X]E[X]E[X]，不能够一个一个量，只能采取采样的方法求这采样的sample mean MnM_nMn。注意

2021-12-28 15:34:08 1094

原创 Lecture 18: Markov Chains III

前言：复习上节课内容，讲了当两个条件发生（single recurrent class）（nonperiodic）时当n趋于无穷时，马尔科夫链的状态同样有两个性质（概率收敛到固定值）（概率独立于初始状态）。计算这个概率的直观方法是，想象πj\pi_jπj是落在j状态的次数，进出j状态的次数一定是一样的，等式左边是【出】的次数，因为落在j状态后一定要往外出，等式右边是【进】的次数...

2021-12-27 19:39:13 269

原创 Lecture 17: Markov Chains II

前言：这节课继续Markov Chains，主要介绍了达到稳定状态时的性质。这里复习了马尔可夫假设，即pijp_{ij}pij这个概率只与状态i有关。以及如何利用recursive的方法找到任意两个时刻和两个状态的转换概率。上图介绍了周期状态的概念，上图所有状态的构成的图是周期性的，如果把红色标记的状态构成一组group，非红标记的状态构成一组group的话就能得到两个group。但是如果如7状态有self transition，这个图就不是周期性的。对于不同状态的概率随时间收敛，直观的

2021-12-27 15:46:25 243

原创 Lecture 16: Markov Chains I

前言：这节课讲马尔可夫链，由一个收银的例子引出马尔科夫链的定义，介绍了马尔可夫假设；如何计算状态之间的转换概率；对于一些链，经过很长时间无论初始状态如何落在不同状态概率会趋于稳定，transient 和recurrent 状态的区别。新的状态由旧的状态和噪声决定。state: anything that’s happening right now that’s relevant to what may happen in the future. 状态就是现在正在发生的，能决定并影响未来的量。比如球

2021-12-24 10:07:12 924

原创 Lecture 15: Poisson Process II

前言：复习：泊松过程中两个随机变量，给定时间间隔τ\tauτ 发生k次到达的PMF，因为k只能是整数。给定发生次数k，发生k次需要的时间YkY_kYk, 时间是连续的，所以是PDF。poission钓鱼的例子复习poission的merge三个独立的有λ\lambdaλ发生率的灯泡，一起工作的时候第一个灯灭的分布符合3∗λ3*\lambda3∗λ的指数分布，所以第一个灯灭的时间期望是13λ\frac{1}{3\lambda}3λ1。从第一个灯灭开始考虑，现在只有两盏灯，（old

2021-12-23 19:32:21 622

原创 Lecture 14: Poisson Process I

前言：这节课讲泊松过程上节课讲了随机过程，随机过程就是随时间发展的随机试验，也可以把随机过程理解成一项实验，这个实验由无限多的步骤组成。上节课的例子是：伯努利过程Bernoulli process, which is nothing but the sequence of Bernoulli trials-- an infinite sequence of Bernoulli trials. For example, flipping a coin over and over.对于伯努利过程这个

2021-12-23 15:12:45 479

原创 Lecture 13: Bernoulli Process

前言：前面12节课是有关概率的知识，这节课是开始需要研究随时间变化的现象，也就是随机过程，random processes ，stochastic processes。random processes are supposed to be models that capture the evolution of random phenomena over time，这节课讲伯努利过程。先从简单的随机过程开始讲起，伯努利过程是离散时间的随机过程。两种解读方式：第一种是每个时间对应一个单独的独立随

2021-12-22 16:56:59 424

原创 Lecture 12: Iterated Expectations； Sum of a Random Number of Random Variables

前言：本节课讲了条件期望以及他的应用，任意数量的独立随机变量的加和以及它的期望和方差。E[X∣Y=y]=∑xxpX∣Y(x∣y)E[X|Y = y] = \sum_x xp_{X|Y}(x|y)E[X∣Y=y]=x∑xpX∣Y(x∣y)这个式子是学期望那节课中，给定一个条件Y = y时，x的分布和x的值构成的期望。在这里y 是一个固定的值，就是说已经知道第一节长度是y。在上面那个截断棍子的例子中，有E[X∣Y=y]=y2E[X|Y = y] = \frac{y}{2}E[X∣Y=y]=2y

2021-12-22 14:46:52 478

原创 Lecture 11: Derived Distributions； Convolution； Covariance and Correlation

前言：这节课继续上节课，讲如何求g(X)的分布，这回扩展到多个input，g(X，Y) 的分布。介绍了当g(X) 是严格单调情况的简化算法。以及当W = X + Y; X,Y independent 这种特殊情况的算法如图算得E[Z]=∞E[Z]= \inftyE[Z]=∞，可见一些分布的期望可以是无限的。因为上题中X 和 Y 是独立的，所以Y和1XY 和 \frac{1}{X}Y和X1也是独立的。所以第二个等式正确。记住这些公式的前提是要严格单调假设x均匀分布，当g(x)趋近于0 时，

2021-12-14 17:49:48 770

原创 Lecture 10: Continuous Bayes‘ Rule； Derived Distributions

前言：本节课讲inference和derived distribution.前面讲过给PX(x)P_X(x)PX(x)求E[g(x)]E[g(x)]E[g(x)]这节课讲的是给X的分布，求g(x)的分布已知输入的分布P(X)P(X)P(X)以及当不同X时 Y的分布，求当给不同Y的时候，原始X的分布。下面是两种混合了离散和连续变量的情况离散X，连续 Y 。这种情况很容易发生，比如信号输入端是 0，1.输出端Y 叠加了一个高斯噪声 W 变成了一个连续变量。X=0,1Y=X+WX =

2021-12-13 17:24:47 153

原创 Lecture 9: Multiple Continuous Random Variables

前言：本节课讲了多个连续变量互相作用在二维情况下，概率从曲线下的面积变成了曲面下的体积，所以为了算体积就要积分两次，总体积等于1。pdf 的概念也发生了变化，从单位长度的质量变成了单位面积的质量。probability per unit area in the neighborhood of a certain pointmarginal pdf可以想象成把一个切片面压扁，然后只看压扁的这片的质量，如果关心X方向 fX(x)f_X(x)fX(x) 就沿着y方向压扁。X 是线段中心距离平行线

2021-12-12 13:30:25 329

原创 Lecture 8: Continuous Random Variables

前言：这节课从离散的世界来到了连续的世界，开始介绍连续随机变量。注意这里是连续随机变量，所以对应的取值不再是离散的。上一节中的取值 X=xX = xX=x 也会变成 a≤X≤ba \leq X\leq ba≤X≤b。上一节的probability mass function PX(x)P_X(x)PX(x)表示每个点 X=xX = xX=x 对应的质量是多少。这一节的probability density function fX(x)f_X(x)fX(x)表示每个点 X=xX = xX=x

2021-12-11 17:02:18 1381

原创 Lecture 7: Multiple Discrete Random Variables: Expectations, Conditioning, Independence

文章目录前言这节课主要是复习补充∑xPX∣Y(x∣y)=1\sum_xP_X|Y(x|y) = 1∑xPX∣Y(x∣y)=1同理三个事件的PMF PX,Y,Z(x,y,z)P_{X,Y,Z}(x,y,z)PX,Y,Z(x,y,z)PX(x)=∑y,zPX,Y,Z(x,y,z)P_X(x) = \sum_{y,z}P_{X,Y,Z}(x,y,z)PX(x)=∑y,zPX,Y,Z(x,y,z)首先应该注意对所有的x，y，z上面的条件都要成立才有独立。PX∣Y(x∣y)=PX(x)P

2021-12-11 10:43:53 395

原创 Lecture 6: Discrete Random Variable Examples； Joint PMFs

前言：本章节复习上一节课内容，更深入探讨期望对于 var(X), 单位不对，所以开根号得到standard deviation。举个例子，可以看到因为非线性的存在E(TV)≠E(T)∗T(V)E(TV) \not= E(T) * T(V)E(TV)=E(T)∗T(V)还是那句话，you can not reason on average对于conditional PMF的理解：对于一个condition，我们可以认为样本空间发生了变化，新的样本空间里面所有的outcome都满足这个c

2021-12-09 17:06:03 521

翻译 Transformers vs Google QUEST Q&A Labeling（part 1 and 2）

文章目录前言整体架构Encoderinputself attentionmulti-head attentionResidual connections:Decoder参考前言总结博客：Transformers (State-of-the-art Natural Language Processing)整体架构整体架构如上图是encoder 加 decoder的架构Encoderencoder 包含两部分self-attention 和feed-forward。首先input进入到self

2021-12-08 22:07:40 181

原创 Lecture 5: Discrete Random Variables； Probability Mass Functions； Expectations

前言：这节课主要讲random variable的概念，PMF以及期望和方差random variable是描述实验结果outcome的变量，也可以看成sample space 在实数域上的映射。random variable is not random, is not variable, it is just a function from sample space to the real number.举个例子在这个图中，sample space是班中的所有学生，每个学生都对应一个身高，身

2021-12-08 19:00:19 248

原创 Lecture 4: Counting

前言：这节课主要讲解了排列组合和partition的概念并介绍了二项分布的概率如果样本空间中的每种outcome都存在一样的可能性，那么事件A发生的概率就是事件A中outcome的个数，比上样本空间中outcome的个数。从两个方向推导出，从n个元素中提取k个元素并放入有序队列的不同outcome，由此推导出组合数，即n个元素选出含k个元素的subset个数，组合数也可以看成binomial coeff 二项式系数组合数的k 从0 加和到n等于 2n2^n2n,即所有subset的个数

2021-12-07 20:33:43 368

原创 Lecture 3: Independence

第二次掷硬币的概率不会被第一次投掷的结果所影响，都是Pindependence： the first event whether or not occour, will not bring any information that affect the second event第一种定义A的出现不会影响任何对于B的判断。这种定义里P(A)P(A)P(A) 一定大于0，不然条件概率没有意义第二种定义：两个事件AB同时发生的概率是两个事件发生概率的乘积但是有时会出现数值上的巧合，即使P(A..

2021-12-07 17:20:31 447

原创 Lecture 2: Conditioning and Bayes‘ Rule

前言：information is always partial。如果我们对于一个随机的实验只有部分信息，我们怎么获得某些event的概率本节课会讲条件概率，以及三种相关工具，前两种用于分解复杂问题，第三种用于已知推断未知（inference）上节课的重点补充：对于如上图的连续样本空间，如果P(A)=area(A)P(A) = area(A)P(A)=area(A)A=∪x,y{(x,y)}1=P(A)=P(∪x,y{(x,y)})=∑x,yP({(x,y)})=∑0=0A = \cup_{

2021-12-06 19:30:07 202

原创 Lecture 1: Probability Models and Axioms

工程师处理噪音，股票经理处理股票开始的课程简单，discrete probability，后期会变难。

2021-12-05 11:32:15 276

原创手把手刷数组题目

文章目录小而美的算法技巧：前缀和数组303. 区域和检索 - 数组不可变（中等）304. 二维区域和检索 - 矩阵不可变（中等）560. 和为K的子数组（中等）小而美的算法技巧：前缀和数组303. 区域和检索 - 数组不可变（中等）304. 二维区域和检索 - 矩阵不可变（中等）560. 和为K的子数组（中等）...

2021-12-03 13:40:57 1089

原创手把手刷链表题目

@一文搞懂单链表的六大解题套路

2021-12-01 19:20:23 775

原创 python nonlocal 关键字

文章目录1.引子2.nonlocal的作用1.引子刷题遇到了这个回文链表的题目,其中解答需要用到nonlocal这个关键字,不然在inner function中会显示没有left这个变量class Solution: def isPalindrome(self, head: ListNode) -> bool: left = head def traverse(right): if not right:

2021-12-01 12:55:31 1210

原创 python list.copy() 和 copy.deepcopy()区别

直接举个例子就好了import copyclass ListNode: def __init__(self, x): self.val = x self.next = None def __repr__(self): return str(self.val)list1 = [ListNode(1), ListNode(2)]list2 = list1.copy()list3 = list1[:]list4 = copy.deepco

2021-11-30 16:18:24 776

转载用Python实现优先级队列

文章目录1. heapq模块最小优先队列实现最大优先队列的实现复杂结构的优先队列3. PriorityQueue模块4. 实现自己的优先队列1. heapq模块heapq 是一个二叉堆的实现，其内部使用内置的 list 对象，对于列表中的每一个元素，其满足 a[k] <= a[2k+1] and a[k] <= a[2k+2] ，因此，该方法默认的是一个最小堆，a[0] 为队列中的最小元素。和教科书上不一样的点在于：1. 使用了基于零开始的索引， 2. pop 方法返回了最小的元素，而不是

2021-11-29 20:07:18 2490

原创 python函数传参是传值还是传引用？

文章目录1. 引子2. 理解概念3. python中使用1. 引子# Definition for singly-linked list.# class ListNode:# def __init__(self, val=0, next=None):# self.val = val# self.next = nextclass Solution: def mergeTwoLists(self, list1: Optional[ListNode]

2021-11-29 12:43:02 383

转载 python dict.get()学习

项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obta

2021-11-27 17:50:36 1949

原创贪心类型问题

文章目录前言1. 贪心算法之区间调度问题435. 无重叠区间（中等）452.用最少数量的箭引爆气球（中等）2. 扫描线技巧：安排会议室253.会议室 II（中等）前言贪心算法可以认为是动态规划算法的一个特例，相比动态规划，使用贪心算法需要满足更多的条件（贪心选择性质），但是效率比动态规划要高。比如说一个算法问题使用暴力解法需要指数级时间，如果能使用动态规划消除重叠子问题，就可以降到多项式级别的时间，如果满足贪心选择性质，那么可以进一步降低时间复杂度，达到线性级别的。什么是贪心选择性质呢，简单说就

2021-11-27 09:22:34 414

转载 python类型标注typing

文章目录前言1.Type aliases前言以前在使用python的时候，从来没有想过如果记不住输入输出的类型怎么办，直到开始用c++才发现了这个问题，c++虽然用起来有点麻烦，但是确实给每个函数都规定了详细的输入输出类型，即使过了n年，再看代码也不会忘记。python其实也有类似的功能，在刷leetcode的时候可以看见如下的函数标签在这个函数里bookings的预期类型是一个二重嵌套的 List[List[int]],输出是一个List[int]1.Type aliases类型别名通

2021-11-24 16:53:35 429

原创用动态规划玩游戏

文章目录1. 动态规划之最小路径和64. 最小路径和1. 动态规划之最小路径和64. 最小路径和给定一个包含非负整数的 m x n 网格 grid ，请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。说明：每次只能向下或者向右移动一步。输入：grid = [[1,3,1],[1,5,1],[4,2,1]]输出：7解释：因为路径 1→3→1→1→1 的总和最小。状态：题目里有，即小人的位置（i，j）选择：题目里也有，即每次只能向下或者向右移动一步dp数组定义：小人运动

2021-11-23 11:22:23 3396

翻译 pytorch基础学习

文章目录Tensor InitializationFrom a python listFrom a Numpy ArrayFrom a TensorBy Specifying a ShapeWith torch.arangeTensor PropertiesData typeShapecontiguousUnsqueeze and squeezeDeviceTensor IndexingOperationBroadcaststatisticcatAutograd举个例子Neural Network Modu

2021-11-20 09:15:42 210

原创背包类型问题

文章目录文章目录文章目录前言1. 经典动态规划：0-1 背包问题第一步：明确【状态】和【选择】第二步：明确dp数组的定义第三步: 根据「选择」，思考状态转移的逻辑。2. 经典动态规划：子集背包问题416.分割等和子集（中等）3. 经典动态规划：完全背包问题518.零钱兑换II（中等）前言跟着labuladong刷题，做一些笔记，原网址链接: link.1. 经典动态规划：0-1 背包问题给你一个可装载重量为 W 的背包和 N 个物品，每个物品有重量和价值两个属性。其中第 i 个物品的重量为 wt[

2021-11-18 10:06:45 89

空空如也

空空如也