4、深度学习中的多种模型实现与优化

深度学习中的多种模型实现与优化

1 逻辑回归与模型评估

1.1 逻辑回归设置

在逻辑回归中，以交叉熵作为损失函数，变量 Z@ 为响应变量。将损失函数传递给梯度下降优化器，学习率设为 0.15。在运行优化之前，需要初始化全局变量，代码如下：

# Start a session
init <- tf$global_variables_initializer()
sess$run(init)

接着，使用交叉熵作为损失函数执行梯度下降算法来优化权重：

# Running optimization
for (step in 1:5000) {
  sess$run(optimizer)
  if (step %% 50 == 0) {
    cat(step, ".", sess$run(W), sess$run(b), "::", sess$run(cross_entropy), "\n")
  }
}

1.2 模型性能评估

模型性能可以通过 AUC（Area Under the Curve）来评估。以下是训练集和测试集的 AUC 计算代码：

# Performance on Train
library(pROC)
y_pred <- sess$run(tf$nn$sigmoid(tf$matmul(X, W) + b))
roc_obj <-