15、分类与逻辑回归分析

分类与逻辑回归分析

1. 卡方检验

在数据分析中，我们常常需要判断不同类别之间是否存在关联。以泰坦尼克号数据为例，我们可以通过卡方检验来确定乘客的舱位等级、性别与是否存活之间是否存在显著关系。

首先，我们使用 observed-frequencies 函数获取每个类别组合的观测频率计数。代码如下：

(defn ex-4-15 []
  (-> (load-data "titanic.tsv")
      (observed-frequencies)))
;; (200 119 181 123 158 528)

接着，结合之前计算的期望频率，我们可以计算卡方统计量：

(defn chisq-stat [observed expected]
  (let [f (fn [observed expected]
            (/ (i/sq (- observed expected)) expected))]
    (reduce + (map f observed expected))))

(defn ex-4-16 []
  (let [data (load-data "titanic.tsv")
        observed (observed-frequencies data)
        expected (expected-frequencies data)]
    (float (chisq-stat observed expe