7、信息论与深度学习中的微积分知识解析

信息论与深度学习中的微积分知识解析

1. 信息论相关内容

1.1 熵的计算

• 熵 (H(\gamma)) 的计算 ：
  • 公式为 (H(\gamma) = -\left(\frac{2}{6} \log_2\frac{2}{6} + \frac{4}{6} \log_2\frac{4}{6}\right)=-\left(\frac{1}{3} \log_2\frac{1}{3} + \frac{2}{3} \log_2\frac{2}{3}\right)\approx0.92) [bits/symbol]。
• 条件熵 (H(\gamma|\theta_1)) 的计算 ：
  • (H(\gamma|\theta_1) = -\frac{1}{3}\left(\frac{1}{2} \log_2\frac{1}{2} + \frac{1}{2} \log_2\frac{1}{2}\right) - \frac{1}{3}\left(\frac{1}{2} \log_2\frac{1}{2} + \frac{1}{2} \log_2\frac{1}{2}\right) - \frac{1}{3}(1 \log_2 1))
  • 化简后可得 (H(\gamma|\theta_1) = \frac{1}{3}(1) + \frac{1}{3}(1) + \frac{1}{3}(0)=\frac{2}{3} \approx0.66) [bits/symbol]。