广义线性模型

历经2年多，整理了广义线性模型的教程，有兴趣的可以查阅： 

readthedocs 博客

博客地址：https://zzh-blog.readthedocs.io/zh_CN/latest/

 

《广义线性模型》书籍目录：

 

• 1. 概率基础
  • 1.1. 概率模型
    • 1.1.1. 概率律
    • 1.1.2. 离散模型
    • 1.1.3. 连续模型
  • 1.2. 条件概率
  • 1.3. 联合概率
  • 1.4. 全概率与贝叶斯定理
  • 1.5. 独立性
  • 1.6. 随机变量
    • 1.6.1. 离散随机变量
    • 1.6.2. 连续随机变量
    • 1.6.3. 累积分布函数
    • 1.6.4. 随机变量的函数
    • 1.6.5. 期望与方差
  • 1.7. 边缘化
  • 1.8. 常见概率分布
    • 1.8.1. 伯努利分布
    • 1.8.2. 二项式分布
    • 1.8.3. 类别分布
    • 1.8.4. 多项式分布
    • 1.8.5. 高斯分布
    • 1.8.6. 卡方分布
    • 1.8.7. t分布
    • 1.8.8. F分布
• 2. 最大似然估计
  • 2.1. 最大似然估计
  • 2.2. 伯努利分布
  • 2.3. 类别分布
  • 2.4. 高斯分布
  • 2.5. 总结
• 3. 推断与检验
  • 3.1. 统计量和充分统计量
  • 3.2. 抽样分布
    • 3.2.1. 正态分布
    • 3.2.2. t分布
    • 3.2.3. 卡方分布
  • 3.3. 极限理论
    • 3.3.1. 马尔可夫和切比雪夫不等式
    • 3.3.2. 弱大数定律
    • 3.3.3. 依概率收敛
    • 3.3.4. 中心极限定理
    • 3.3.5. 强大数定理
  • 3.4. 似然估计量
    • 3.4.1. 估计量的偏差与方差
    • 3.4.2. 信息量
    • 3.4.3. 最大似然估计的特性
  • 3.5. 置信区间
    • 3.5.1. 均值参数的 Z 区间估计
    • 3.5.2. 均值参数的 T 区间估计
    • 3.5.3. 方差参数的区间估计
  • 3.6. 简单假设检验
    • 3.6.1. Z检验
    • 3.6.2. T检验
    • 3.6.3. 卡方检验
• 4. 指数族
  • 4.1. 指数族的定义
    • 4.1.1. 伯努利分布
    • 4.1.2. 类别分布
    • 4.1.3. 泊松分布
    • 4.1.4. 高斯分布
    • 4.1.5. 其它常见指数族
  • 4.2. 指数族的期望与方差
  • 4.3. 最大似然估计
  • 4.4. 最大似然估计与KL散度的关系
• 5. 线性回归模型
  • 5.1. 最小二乘
    • 5.1.1. 最小误差
    • 5.1.2. 参数估计
  • 5.2. 线性回归的概率解释
    • 5.2.1. 高斯分布
    • 5.2.2. 参数估计
• 6. 广义线性模型
  • 6.1. 指数族分布
    • 6.1.1. 自然指数族
    • 6.1.2. 示例：高斯分布
    • 6.1.3. 示例：伯努利分布
  • 6.2. 广义线性模型
  • 6.3. 例子
• 7. 参数估计
  • 7.1. 最大似然估计
  • 7.2. 泰勒级数
  • 7.3. 梯度下降法
  • 7.4. 牛顿法
    • 7.4.1. 算法推导
    • 7.4.2. 标准连接函数
    • 7.4.3. 迭代初始值的设定
  • 7.5. 迭代重加权最小二乘(IRLS)
    • 7.5.1. 算法推导
    • 7.5.2. 算法过程
  • 7.6. 估计量的标准误差
  • 7.7. 分散参数的估计
• 8. 模型评估
  • 8.1. 拟合优度
    • 8.1.1. 嵌套模型
    • 8.1.2. 对数似然比(Likelihood ratio)
    • 8.1.3. 偏差(deviance)
    • 8.1.4. 决定系数 \(R^2\)
    • 8.1.5. 广义皮尔逊卡方统计量
  • 8.2. 残差分析(Residual analysis)
    • 8.2.1. Response residuals
    • 8.2.2. Working residuals
    • 8.2.3. Partial residuals
    • 8.2.4. Pearson residuals
    • 8.2.5. Deviance residuals
    • 8.2.6. Score residuals
  • 8.3. 模型选择(model selection)
    • 8.3.1. AIC
    • 8.3.2. BIC
• 9. 模型检验
  • 9.1. 拉格朗日乘子检验
    • 9.1.1. 得分统计量
    • 9.1.2. 检验过程
  • 9.2. wald 检验
    • 9.2.1. 参数估计量
    • 9.2.2. 检验过程
  • 9.3. 似然比检验
    • 9.3.1. 抽样分布
    • 9.3.2. 模型比较
    • 9.3.3. 偏差统计量
    • 9.3.4. F 检验
  • 9.4. 总结
• 10. 高斯模型
  • 10.1. 传统线性回归
  • 10.2. 高斯分布
  • 10.3. 高斯回归模型
  • 10.4. 参数估计
    • 10.4.1. 似然函数
    • 10.4.2. IRLS
    • 10.4.3. 拟合优度
  • 10.5. 其它连接函数
• 11. 逆高斯模型
  • 11.1. 逆高斯分布
  • 11.2. 逆高斯回归模型
  • 11.3. 参数估计
    • 11.3.1. 似然函数
    • 11.3.2. IRLS
    • 11.3.3. 拟合优度
  • 11.4. 其它连接函数
• 12. 二项式模型
  • 12.1. 伯努利分布
  • 12.2. 逻辑回归模型
    • 12.2.1. 模型定义
    • 12.2.2. 参数估计
    • 12.2.3. odds 与 logit
  • 12.3. 二项式分布
  • 12.4. 二项式回归模型
    • 12.4.1. 模型定义
    • 12.4.2. 参数估计
  • 12.5. 其它连接函数
    • 12.5.1. 恒等连接函数
    • 12.5.2. probit 回归
    • 12.5.3. log-log 和 clog-log
  • 12.6. 分组数据与比例数据
• 13. 泊松模型
  • 13.1. 泊松(Poisson)分布
    • 13.1.1. 推导过程
    • 13.1.2. 泊松分布的特性
  • 13.2. 泊松回归模型
  • 13.3. 参数估计
  • 13.4. 拟合统计量
  • 13.5. 频率模型
  • 13.6. 泊松模型的局限性
• 14. 指数模型
  • 14.1. 指数(exponential)分布
    • 14.1.1. 推导过程
    • 14.1.2. 分布的特性
  • 14.2. 指数回归模型
  • 14.3. 参数估计
    • 14.3.1. 似然函数
    • 14.3.2. 拟合优度
    • 14.3.3. IRLS
• 15. Gamma 模型
  • 15.1. Gamma 函数
  • 15.2. Gamma 分布
  • 15.3. Gamma 回归模型
  • 15.4. 参数估计
    • 15.4.1. 似然函数
    • 15.4.2. IRLS
    • 15.4.3. 拟合优度
  • 15.5. 其他连接函数
    • 15.5.1. 对数 Gamma 模型
    • 15.5.2. 恒等(identity) Gamma 模型
• 16. 过度分散
  • 16.1. 什么是过度分散
  • 16.2. 过度分散的检测
  • 16.3. 过度分散的影响
  • 16.4. 标准误差的修正
• 17. 负二项式模型
  • 17.1. 负二项式分布
    • 17.1.1. 从二项式分布推导
    • 17.1.2. 泊松-伽马混合分布
    • 17.1.3. 辅助参数 \(\alpha\) 的影响
  • 17.2. 负二项回归模型
  • 17.3. 参数估计
    • 17.3.1. IRLS
    • 17.3.2. 参数 \(\alpha\) 的估计
  • 17.4. 负二项式模型扩展
    • 17.4.1. 对数连接函数
    • 17.4.2. 参数 \(\alpha\) 的估计
    • 17.4.3. 几何模型
    • 17.4.4. 广义负二项式模型
• 18. 零计数问题
  • 18.1. 零截断模型
    • 18.1.1. 零截断泊松模型
    • 18.1.2. 零截断负二项式模型
  • 18.2. 零膨胀模型
    • 18.2.1. Hurdle 模型
    • 18.2.2. Zero-inflate 模型
• 19. 多项式模型
  • 19.1. 类别分布
  • 19.2. softmax 回归模型
    • 19.2.1. 模型定义
    • 19.2.2. 参数估计
  • 19.3. 多项式分布
  • 19.4. 多项式回归模型
• 20. 有序离散模型
  • 20.1. 有序逻辑回归
  • 20.2. 参数估计
  • 20.3. 连接函数
    • 20.3.1. logit
    • 20.3.2. probit
    • 20.3.3. clog-log
    • 20.3.4. log-log
    • 20.3.5. cauchit
  • 20.4. 总结

• 附录
• 参考文献

 

 

 

github pages 博客

 

博客地址： https://zhangzhenhu.github.io/blog/index.html

 

《广义线性模型》书籍目录：

• 1. 概率基础
  • 1.1. 概率模型
    • 1.1.1. 概率律
    • 1.1.2. 离散模型
    • 1.1.3. 连续模型
  • 1.2. 条件概率
  • 1.3. 联合概率
  • 1.4. 全概率与贝叶斯定理
  • 1.5. 独立性
  • 1.6. 随机变量
    • 1.6.1. 离散随机变量
    • 1.6.2. 连续随机变量
    • 1.6.3. 累积分布函数
    • 1.6.4. 随机变量的函数
    • 1.6.5. 期望与方差
  • 1.7. 边缘化
  • 1.8. 常见概率分布
    • 1.8.1. 伯努利分布
    • 1.8.2. 二项式分布
    • 1.8.3. 类别分布
    • 1.8.4. 多项式分布
    • 1.8.5. 高斯分布
    • 1.8.6. 卡方分布
    • 1.8.7. t分布
    • 1.8.8. F分布
• 2. 最大似然估计
  • 2.1. 最大似然估计
  • 2.2. 伯努利分布
  • 2.3. 类别分布
  • 2.4. 高斯分布
  • 2.5. 总结
• 3. 推断与检验
  • 3.1. 统计量和充分统计量
  • 3.2. 抽样分布
    • 3.2.1. 正态分布
    • 3.2.2. t分布
    • 3.2.3. 卡方分布
  • 3.3. 极限理论
    • 3.3.1. 马尔可夫和切比雪夫不等式
    • 3.3.2. 弱大数定律
    • 3.3.3. 依概率收敛
    • 3.3.4. 中心极限定理
    • 3.3.5. 强大数定理
  • 3.4. 似然估计量
    • 3.4.1. 估计量的偏差与方差
    • 3.4.2. 信息量
    • 3.4.3. 最大似然估计的特性
  • 3.5. 置信区间
    • 3.5.1. 均值参数的 Z 区间估计
    • 3.5.2. 均值参数的 T 区间估计
    • 3.5.3. 方差参数的区间估计
  • 3.6. 简单假设检验
    • 3.6.1. Z检验
    • 3.6.2. T检验
    • 3.6.3. 卡方检验
• 4. 指数族
  • 4.1. 指数族的定义
    • 4.1.1. 伯努利分布
    • 4.1.2. 类别分布
    • 4.1.3. 泊松分布
    • 4.1.4. 高斯分布
    • 4.1.5. 其它常见指数族
  • 4.2. 指数族的期望与方差
  • 4.3. 最大似然估计
  • 4.4. 最大似然估计与KL散度的关系
• 5. 线性回归模型
  • 5.1. 最小二乘
    • 5.1.1. 最小误差
    • 5.1.2. 参数估计
  • 5.2. 线性回归的概率解释
    • 5.2.1. 高斯分布
    • 5.2.2. 参数估计
• 6. 广义线性模型
  • 6.1. 指数族分布
    • 6.1.1. 自然指数族
    • 6.1.2. 示例：高斯分布
    • 6.1.3. 示例：伯努利分布
  • 6.2. 广义线性模型
  • 6.3. 例子
• 7. 参数估计
  • 7.1. 最大似然估计
  • 7.2. 泰勒级数
  • 7.3. 梯度下降法
  • 7.4. 牛顿法
    • 7.4.1. 算法推导
    • 7.4.2. 标准连接函数
    • 7.4.3. 迭代初始值的设定
  • 7.5. 迭代重加权最小二乘(IRLS)
    • 7.5.1. 算法推导
    • 7.5.2. 算法过程
  • 7.6. 估计量的标准误差
  • 7.7. 分散参数的估计
• 8. 模型评估
  • 8.1. 拟合优度
    • 8.1.1. 嵌套模型
    • 8.1.2. 对数似然比(Likelihood ratio)
    • 8.1.3. 偏差(deviance)
    • 8.1.4. 决定系数 \(R^2\)
    • 8.1.5. 广义皮尔逊卡方统计量
  • 8.2. 残差分析(Residual analysis)
    • 8.2.1. Response residuals
    • 8.2.2. Working residuals
    • 8.2.3. Partial residuals
    • 8.2.4. Pearson residuals
    • 8.2.5. Deviance residuals
    • 8.2.6. Score residuals
  • 8.3. 模型选择(model selection)
    • 8.3.1. AIC
    • 8.3.2. BIC
• 9. 模型检验
  • 9.1. 拉格朗日乘子检验
    • 9.1.1. 得分统计量
    • 9.1.2. 检验过程
  • 9.2. wald 检验
    • 9.2.1. 参数估计量
    • 9.2.2. 检验过程
  • 9.3. 似然比检验
    • 9.3.1. 抽样分布
    • 9.3.2. 模型比较
    • 9.3.3. 偏差统计量
    • 9.3.4. F 检验
  • 9.4. 总结
• 10. 高斯模型
  • 10.1. 传统线性回归
  • 10.2. 高斯分布
  • 10.3. 高斯回归模型
  • 10.4. 参数估计
    • 10.4.1. 似然函数
    • 10.4.2. IRLS
    • 10.4.3. 拟合优度
  • 10.5. 其它连接函数
• 11. 逆高斯模型
  • 11.1. 逆高斯分布
  • 11.2. 逆高斯回归模型
  • 11.3. 参数估计
    • 11.3.1. 似然函数
    • 11.3.2. IRLS
    • 11.3.3. 拟合优度
  • 11.4. 其它连接函数
• 12. 二项式模型
  • 12.1. 伯努利分布
  • 12.2. 逻辑回归模型
    • 12.2.1. 模型定义
    • 12.2.2. 参数估计
    • 12.2.3. odds 与 logit
  • 12.3. 二项式分布
  • 12.4. 二项式回归模型
    • 12.4.1. 模型定义
    • 12.4.2. 参数估计
  • 12.5. 其它连接函数
    • 12.5.1. 恒等连接函数
    • 12.5.2. probit 回归
    • 12.5.3. log-log 和 clog-log
  • 12.6. 分组数据与比例数据
• 13. 泊松模型
  • 13.1. 泊松(Poisson)分布
    • 13.1.1. 推导过程
    • 13.1.2. 泊松分布的特性
  • 13.2. 泊松回归模型
  • 13.3. 参数估计
  • 13.4. 拟合统计量
  • 13.5. 频率模型
  • 13.6. 泊松模型的局限性
• 14. 指数模型
  • 14.1. 指数(exponential)分布
    • 14.1.1. 推导过程
    • 14.1.2. 分布的特性
  • 14.2. 指数回归模型
  • 14.3. 参数估计
    • 14.3.1. 似然函数
    • 14.3.2. 拟合优度
    • 14.3.3. IRLS
• 15. Gamma 模型
  • 15.1. Gamma 函数
  • 15.2. Gamma 分布
  • 15.3. Gamma 回归模型
  • 15.4. 参数估计
    • 15.4.1. 似然函数
    • 15.4.2. IRLS
    • 15.4.3. 拟合优度
  • 15.5. 其他连接函数
    • 15.5.1. 对数 Gamma 模型
    • 15.5.2. 恒等(identity) Gamma 模型
• 16. 过度分散
  • 16.1. 什么是过度分散
  • 16.2. 过度分散的检测
  • 16.3. 过度分散的影响
  • 16.4. 标准误差的修正
• 17. 负二项式模型
  • 17.1. 负二项式分布
    • 17.1.1. 从二项式分布推导
    • 17.1.2. 泊松-伽马混合分布
    • 17.1.3. 辅助参数 \(\alpha\) 的影响
  • 17.2. 负二项回归模型
  • 17.3. 参数估计
    • 17.3.1. IRLS
    • 17.3.2. 参数 \(\alpha\) 的估计
  • 17.4. 负二项式模型扩展
    • 17.4.1. 对数连接函数
    • 17.4.2. 参数 \(\alpha\) 的估计
    • 17.4.3. 几何模型
    • 17.4.4. 广义负二项式模型
• 18. 零计数问题
  • 18.1. 零截断模型
    • 18.1.1. 零截断泊松模型
    • 18.1.2. 零截断负二项式模型
  • 18.2. 零膨胀模型
    • 18.2.1. Hurdle 模型
    • 18.2.2. Zero-inflate 模型
• 19. 多项式模型
  • 19.1. 类别分布
  • 19.2. softmax 回归模型
    • 19.2.1. 模型定义
    • 19.2.2. 参数估计
  • 19.3. 多项式分布
  • 19.4. 多项式回归模型
• 20. 有序离散模型
  • 20.1. 有序逻辑回归
  • 20.2. 参数估计
  • 20.3. 连接函数
    • 20.3.1. logit
    • 20.3.2. probit
    • 20.3.3. clog-log
    • 20.3.4. log-log
    • 20.3.5. cauchit
  • 20.4. 总结

• 附录
• 参考文献