1、信号处理与机器学习理论入门

信号处理与机器学习理论入门

1. 信号与系统基础

1.1 连续时间信号和系统

连续时间信号在时间上是连续变化的，其系统的分析通常涉及到微分方程。例如，一个简单的 RC 电路可以用一阶微分方程来描述其输入输出关系。连续时间系统的特性包括线性、时不变性等，这些特性对于理解和设计系统至关重要。

1.2 离散时间信号和系统

离散时间信号是在离散时间点上取值的信号，通常以序列的形式表示。离散时间系统可以根据其特性进行分类，如线性时不变（LTI）系统。LTI 系统可以用差分方程来描述，其分析方法包括 z 变换等。例如，一个简单的离散时间滤波器可以通过差分方程来实现对信号的滤波。

1.3 随机信号和随机过程

随机信号和随机过程引入了概率的概念。概率是理解随机信号的基础，包括联合概率、条件概率和全概率等。随机变量的概率分布描述了其取值的可能性，常见的分布有高斯分布、泊松分布等。随机过程则是随机变量随时间的变化，其特性包括平稳性、遍历性等。例如，在通信系统中，噪声通常被建模为随机过程。

1.4 采样和量化

采样是将连续时间信号转换为离散时间信号的过程，量化则是将连续幅度的信号转换为离散幅度的信号。均匀采样是最常见的采样方式，根据采样定理，采样频率必须大于信号最高频率的两倍才能避免混叠。量化误差是量化过程中不可避免的，它会影响信号的质量。例如，在音频处理中，采样和量化决定了音频的质量。

1.5 FIR 和 IIR 滤波器设计

有限脉冲响应（FIR）滤波器和无限脉冲响应（IIR）滤波器是数字滤波器的两种主要类型。FIR 滤波器具有线性相位的优点