3. 深度学习的数学基础：概率论与信息论

AI 领域，概率论主要有两种用途：一是概率法则告诉我们系统如何推理，据此可设计出一些算法来计算或者估算由概率论导出的表达式。二是用概率和统计从理论上分析我们提出的AI系统的行为。

信息论帮助我量化概率分布中的不确定性总量。