- 博客(78)
- 收藏
- 关注
RSS订阅原创 MIT RF Machine Learning Challenge
本文对MIT RF challenge 做一个介绍，官方网址在 https://rfchallenge.mit.edu/. Challenge总共有三个，本文着重于第一个 single channel challenge. 官方提供了一份starter code，因此我们从这里着手: https://github.com/RFChallenge/rfchallenge_singlechannel_starter.准备所有RF采集的数据都将用SigMF的格式存储pip install git+http
2022-02-08 03:32:25
290
原创 1-bit Massive MIMO
本文我们读一下 1-bit massive MIMO transmission: embracing interference with symbol-level precodingMassive MIMO的问题作者首先从Massive MIMO的问题入手。Massive MIMO的主要增益在于BS可以利用spatial multiplexing同时同频发送多个数据流。同时 channel hardening effect 进一步简化了信道估计和功率分配问题。当然，这一切的前提是我们能实现完美的ful
2021-12-01 17:05:18
487
原创 Fundamental Limits of Caching in Wireless D2D Networks
本文我们读一下 D2D coded caching 一篇比较早的paper: Fundamental Limits of Caching in Wireless D2D Networks.Abstract首先这是一个D2D网络，只有用户没有基站，所有人的通信都是one-hop。每个用户都可以提前cache一些信息，取决于他们的本地容量。他们的需求可以是一个有限信息集中的任意信息。实际上这个问题在有基站的中心化场景下已经被研究过了。在他们的场景下，有一个全知的基站拥有所有的信息。由这个基站给所有用户广播
2021-10-29 23:42:01
296
原创 Feedback Code: the Modulo-SK Scheme
本文中我们介绍一些经典的SK scheme. 本文内容基于paper: A Coding Scheme for Additive Noise Channels with Feedback-Part I: No Bandwidth Constraint, by J. SCHALKWIJK & T. KAILATH.The Robbins-Monro Procedure首先我们介绍一下 Robbins-Monro Procedure. 要解决的问题是找一个未知函数 F(x)F(x)F(x) 的零点
2021-10-18 21:40:18
295
原创 向量空间的一些基本定义
内积两个向量 x1\bm{x_1}x1 and x2\bm{x_2}x2 的内积定义为⟨x1,x2⟩=x1⊤x2=∑ix1[i]x1[2]\langle\bm{x_1,x_2}\rangle=\bm{x}_1^\top\bm{x_2} =\sum_i \bm{x_1}[i]\bm{x_1}[2]⟨x1,x2⟩=x1⊤x2=i∑x1[i]x1[2]从几何的角度想，向量的内积表征的是一种空间结构，只与两个向量的长度和夹角有关:⟨x1,x2⟩=∥x1∥∗∥x2∥∗cosθ\langle
2021-08-17 00:07:20
775
原创 函数的 smoothness 和 convexity
本文讲解一下函数 smoothness 和 convexity 的基本定义，等价定义，和性质。
2021-08-14 21:54:46
2318
1
原创 On the convergence of FedAvg on non-iid data
On the convergence of FedAvg on non-iid data
2021-08-13 03:44:32
6312
13
原创 NoisyNN, Generalization Performance
The Effects of Adding Noise During Backpropagation Training on a Generalization Performance
2021-07-23 21:14:33
433
原创 Transformer 超详细教程 1: 结构解析
本文中，我们一起分析一下 Transformer 的 pytorch 实现，原代码地址为：这个 code 是关于语言翻译的，主要task是读入一个文档输出对应的翻译文档。大概的编写流程是初始化文档并读入;初始化Transformer model;训练model;验证训练后model性能.初始化 Transformer我们首先看一下第二步中，Transformer这个model是怎么初始化的。我们主要关注 Transformer. init() 这个函数：class Transformer
2021-03-26 14:20:31
2774
原创 Hugging Face Transformers 学习1
我们来学习一下 Hugging Face Transformers 这个很方便的NLP library。本节我们首先看一下官方的 Quick Tour: https://huggingface.co/transformers/quicktour.html#Pipeline官方的解释从pipeline开始。它把所有的东西全部打包到了一起为一个端到端的工具，对初学者非常友好。好，首先加载pipelinefrom transformers import pipeline加载完之后我们来创建第一个模型
2021-03-20 16:39:10
956
原创 PyTorch教程1
三大要素支撑起了近十年 Deep Leanring 的发展浪潮: DL algorithm, Big data, Computation power. 从本节起，我们学习一下 PyTorch 的使用。创建Tensor首先，什么是Tensor？Tensor是一个任意维度的矩阵 (从标量开始). 而编写神经网络 (NN) 的过程其实就是一个构建一个Tensor的计算图的过程。其中，所有参与计算的变量都要以Tensor的形式存在。 创建一个Tensor也很简单:直接创建 torch.Tensorimp
2021-03-10 16:40:23
358
原创 MARL多智能体强化学习
总结自Wang Shusen youtube教程 https://www.youtube.com/watch?v=KN-XMQFTD0oMARL 四种设定:Fully cooperative。 多个机器人协同装配汽车；一个机械手臂举箱子另一个伸手拿。这些例子中agent都是合作关系。即使action不同，他们的利益都是一样的，最终收到的reward也是一样的。总结起来就是说他们需要为同一目的相互配合。Fully competitive。一方的收益是另一方的损失。一种就是零和博弈，双方的reward
2021-03-09 16:19:39
582
原创 Stanford 3: rTop-k: A Statistical Estimation Approach to Distributed SGD
本文同样来自stanford 组，不过他研究的是分布式学习中的weight compression and estimation problem.问题建模分布式统计参数估计首先，我们考虑 NN 有 ddd 个参数, 他们服从分布 pθp_\thetapθ. 总共有 nnn 个节点观测 pθp_\thetapθ 每个节点得到一个 realization XnX_nXn。 因此我们有X1,X2,...,Xn∼i.i.d.pθX_1,X_2,...,X_n\overset{\text{i.i.d.}
2021-02-22 11:00:06
205
原创 Stanford 2 :Neural Network Compression for Noisy Storage Devices
本文是作者上一篇文章的延续，原文标题Neural Network Compression for Noisy Storage Devices背景在上一篇文章中，作者研究了先压缩再coding的方法来提升NN的存储效率并对抗噪声。本文中，作者exploit联合压缩和coding算法。作者考虑一个多输入单输出的神经网络，训练数据从 pdata(x,y)p_\text{data}(x,y)pdata(x,y) 中采样得到。注意这里分布unknown只知道data，而我们训练神经网络的目的就是学习到这个联
2021-02-21 17:05:10
207
原创 Stanford1 -- Noisy Neural Network Compression for Analog Storage Devices
本文来自 stanford 组，原文标题Noisy Neural Network Compression for Analog Storage DevicesIntroduction背景本文的背景是用模拟器件存储NN weights capacity更大但同时更noisy。一般情况下，这个 noise 是写入 cell 的值的 non-linear function；输入的范围 limited 有最大值最小值限制，也就是说我们得scale input.Motivation本文的motiv
2021-02-21 15:41:35
180
原创 Noisy machines: understanding noisy NNs and enhancing robustness to analog hardware errors
原文来自ARM:NOISY MACHINES: UNDERSTANDING NOISY NEURAL NETWORKS AND ENHANCING ROBUSTNESS TO ANALOG HARDWARE ERRORS USING DISTILLATION本文主要分析对于一个NN，当well trained weights 被 noise 污染之后：会对原NN的表达能力有什么影响；怎么训练NN使得它能抵抗noise.背景现在的神经网络变得越来越大，所以说对于mobile NN来说，大的NN
2021-02-19 21:38:14
335
原创 3. DRL算法分析
PPO paper 见 ArXiv:OpenAI: https://arxiv.org/pdf/1707.06347.pdfDeepMind: https://arxiv.org/pdf/1707.02286.pdfA3C and A2C
2021-02-09 21:56:33
1925
转载 2. 关于DRL的一些经验
转自知乎专栏， 原文 深度强化学习落地方法论 https://zhuanlan.zhihu.com/p/95989190以下是 summarize 的结果。
2021-02-09 21:50:31
4352
原创 OFDM channel estimation
OFDM 系统信道估计模型理论上，我们可以在频域发送一个preamble, 比如说64点的LTS (每个element都是 +1 or -1)。这样，频域接收信号的形式为 (假设无ICI)ML Estimation由于导频信号矩阵 X\bm{X}X 我们已知且可逆，所以 H\bm{H}H 的 ML estimation 为H^=X−1Y\hat{\bm{H}}=\bm{X}^{-1}\bm{Y}H^=X−1Y这一操作实际上就是对应点除。如果我们看这个方法的 MSE 的话可以得到MSEml=E[
2021-01-18 21:53:26
484
原创 复数 标量/向量/矩阵 求导
Wirtinger derivative: 令 z=x+jyz=x+jyz=x+jy，则 f(z)f(z)f(z) 对 zzz 和 zzz 的共轭 z∗z^*z∗ 求导结果为∂∂z=12(∂∂x−i∂∂y)\frac{\partial}{\partial z}=\frac{1}{2}\left(\frac{\partial}{\partial x}-i\frac{\partial}{\partial y} \right)∂z∂=21(∂x∂−i∂y∂)∂∂z∗=12(∂∂x+i∂∂y)\frac
2020-12-02 22:32:31
9332
3
原创 Markov Chains
BasicsDef 1: Stochastic process 随机过程一个随机过程 X={X(t):t∈T}\bm{X}=\{X(t):t\in \bm{T}\}X={X(t):t∈T} 是一个随机过程的集合。ttt 可以是连续的也可以是离散的。如果 T\bm{T}T 是 countably infinite, 我们可以把 X\bm{X}X 称为一个离散时间序列，这时候我们可以取 t=0,1,2,3,...t=0,1,2,3,...t=0,1,2,3,....Reamrk: 随机过程就是一堆随机变量
2020-11-24 17:36:21
790
原创 MMSE and LMMSE Estimators 1: The estimation problem
Estimation Problem参数估计问题存在于各色系统中。特别的，在通信系统中，我们传递的消息是离散时，decoding一般称为 detetcion，但如果传输的信号是连续的实数时，我们一般称decoding问题为 estimation.未知变量: θ\thetaθ观测量: y\bm{y}yEstimator: θ^=g(y)\hat{\theta}=g(\bm{y})θ^=g(y)Estimation performance:Estimation error: θ^−θ\hat{
2020-11-22 16:05:51
536
原创 Lattice原理及在通信中的应用 5 Applications -- Compute-and-Forward
本讲我们研究另一篇著名的paper: compute-and-forward.
2020-11-19 14:24:09
895
1
原创 Lattice原理及在通信中的应用 5 Applications -- AWGN Channel Coding
这一节我们主要讲一下Lattice在通信中的应用。AWGN Channel Coding首先这篇paper来自 Uri Erez & Ram Zamir 2004年的经典论文 “Achieving 12log(1+SNR)\frac{1}{2}\log (1+ \text{SNR})21log(1+SNR) on the AWGN channel with lattice encoding and decoding”. 本文证明了使用 lattice code可以achieve Gaussi
2020-11-18 19:07:04
607
原创 Lattice原理及在通信中的应用 2 Packing, Covering, Quantization, Modulation
Packing, Covering, Quantization, Modulation再讲了大一堆概念之后，我们终于可以开始来看看 lattice 的一些性质了。其实lattice有很好的几何含义，因此实际上关于 lattice的概念和性质都还是很好理解的。首先一个问题就是 packing。还记得第一讲中的 nnn 维球 Br\mathcal{B}_rBr 么，我们首先研究怎么用lattice来pack balls。为了方便叙述，我们进一步定义Unit-radius ball 的 Volume:
2020-11-18 19:05:55
1201
原创 Lattice原理及在通信中的应用 1 Lattice 基础
本文 largely based on Prof. Kschischang 和 Chen Feng 2014 年给的 tutorial。原 tutorial 的标题是 “An Introduction to Lattices and their Applications in Communications”. Slide 在网上可以下载到。Lattice 基础Notations我们将使用的一些符号：R,C\mathbb{R,C}R,C: 实数域和复数域。所谓域 (field) 是指一种可进行加减乘除
2020-11-17 11:16:19
2401
1
原创 Capacity of the Gaussian Two-Way Relay Channel to Within 1/2 Bit
ystem model如上图所示，本文考虑 Gaussian TWRN.[Signal Flow]假设 Node i={1,2}i=\{1,2\}i={1,2} 的 rate 是 RiR_iRi (bits/channel use), 那么使用了 nnn 次信道之后，他总共可以传 nRinR_inRi 个 bits. 那他的codebook的大小就可以为 2nRi2^{nR_i}2nRi. 我们把 Node iii 使用 nnn 次信道想传输的 message 记作Wi∈{1,2,3,..
2020-11-14 16:43:36
294
原创 The Factor Graph Approach to Model-Based Signal Processing
让我们来研究一下 The Factor Graph Approach to Model-Based Signal Processing 这篇文章。本文主要是以图模型来解信号处理问题，建议所有做信号处理的同学们都仔细研究一下，这是一项很有用的工具。Forney-style factor graph原始的因子图中有两种节点: variable node and factor node. 而Forney-style factor graph 中有 nodes, edges and half-edges (仅连
2020-10-27 15:15:43
416
原创 MIT 线性代数 Linear Algebra 32:左逆,右逆,伪逆
本节是本课程的最后一讲. Prof Strang在这一讲主要讲了非方阵的逆. 大量的内容跟之前有关, 算是小小的复习吧.方阵的逆首先, 我们都知道如果一个方阵可逆, 那么AA−1=A−1A=I\bm{AA^{-1}}=\bm{A^{-1}A}=\bm{I}AA−1=A−1A=I...
2020-10-12 16:55:07
920
原创 MIT 线性代数 Linear Algebra 31:线性变换的基变换和图像压缩
这一节, Prof.Strang 接着上一讲的内容作了一些补充Eigenvector Basis上一讲我们讲到的那个投影的例子,如果使用 eigenvector 做 basis, 投影变换在此基下的矩阵形式就是一个对角阵. 那么, 这个结果是否通用尼? 答案是肯定的.本节我们只考虑 m=nm=nm=n, 输入输出使用同样的 basis 的情况.Proposition 1: 如果使用 eigenvectors {x1,x2,...,xn}\{x_1,x_2,...,x_n\}{x1,x2,...,
2020-10-12 15:52:02
473
原创 MIT 线性代数 Linear Algebra 30:线性变换和其矩阵形式
在这一节的开始，让我们先短暂忘记矩阵，研究什么是线性变换。实际上，线性变换是比矩阵更 general 的定义。只不过在 linear algebra 中我们用矩阵来分析线性变换。线性变换满足以下两个条件的变换 TTT 我们称为线性变换T(v+w)=T(v)+T(W)T(v+w)=T(v)+T(W)T(v+w)=T(v)+T(W)T(cv)=cT(v)T(cv)=cT(v)T(cv)=cT(v)可以看到，线性变换实际上就是一个线性函数：输入线性组合的输出等于输出的线性组合。Fact 1: T(0)
2020-10-12 11:52:00
546
原创 MIT 线性代数 Linear Algebra 29: 奇异值分解 SVD
这一讲我们讲一个重要的矩阵分解，奇异值分解 Singular value decomposition，通常称为SVD.SVD 的基本想法是，任意一个矩阵都能分解为A=UΣV−1=UΣV⊤\bm{A}=\bm{U}\Sigma\bm{V}^{-1}=\bm{U}\Sigma\bm{V}^\topA=UΣV−1=UΣV⊤的形式，其中 U\bm{U}U, V\bm{V}V 均为正交阵，Σ\bm{\Sigma}Σ 是一个对角矩阵。Question: 当 A\bm{A}A 是实对称矩阵时，SVD分解为特征值分
2020-10-11 17:58:40
450
原创 MIT 线性代数 Linear Algebra 28: 对称矩阵与Jordan Form
在本节开始前，Prof. Strang 先回顾了一下positive definite matrix，有一些新内容More about positive definiteness如果 A\bm{A}A 正定，则 A−1\bm{A}^{-1}A−1 正定。这个结论直接看特征值就行, A−1\bm{A}^{-1}A−1 的特征值是 A\bm{A}A 的倒数 (不记得的往前看，A\bm{A}A的特征多项式两边同乘 A−1\bm{A}^{-1}A−1 即可得到)，所以也全是正数。if A B
2020-10-10 16:49:12
1361
原创 MIT 线性代数 Linear Algebra 27:正定矩阵 和 函数的极小值 (hessian matrix)
正定矩阵我们之前已经介绍过正定矩阵, 这里在回顾一遍首先我们讨论的矩阵必须是对称矩阵 A⊤=A\bm{A}^\top=\bm{A}A⊤=A, 其次，我们希望它满足所有特征值都是正数，or所有pivots都是正数， or所有子行列式都是正数，orx⊤Ax>0\bm{x}^\top\bm{A}\bm{x}>0x⊤Ax>0, ∀x≠0\forall \bm{x}\neq\bm{0}∀x=0.之前没涉及到的就是第四点，实际上这一点也是大多数教科书用来定义正定矩阵的性质。这一节
2020-10-09 17:23:03
1075
原创 MIT 线性代数 Linear Algebra 26:复矩阵，傅里叶矩阵, 快速傅里叶变换 FFT
这一讲我们来讲一下复矩阵。线性代数中，复矩阵是避免不了的话题，因为一个简单实矩阵都有可能有复数特征值。复矩阵我们着重看一下复矩阵和实矩阵在运算上的区别。距离首先，一个复数向量的的距离求法发生了变化x⊤x → xHx\bm{x}^\top\bm{x}~~\rightarrow~~ \bm{x}^H\bm{x}x⊤x → xHx其中，xH\bm{x}^HxH 指的是共轭转置。相应的，内积也发生了变化内
2020-10-09 16:18:27
2184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人