9、LightGBM、XGBoost与深度学习对比及Optuna参数优化

LightGBM、XGBoost与深度学习对比及Optuna参数优化

1. LightGBM、XGBoost与TabTransformer对比

1.1 人口收入数据集实验

对LightGBM、XGBoost和TabTransformer三种算法都使用网格搜索技术进行参数优化。对于两种提升算法（LightGBM和XGBoost），优化了学习率、分箱大小和树的数量；对于TabTransformer，既要优化参数（如学习率、权重衰减和丢弃率），也要优化架构方面（如变压器块的数量和多层感知机（MLP）中的隐藏层数量）。

以下是在人口收入数据集上训练三种模型的验证集结果：
| 模型 | 训练时间 | 准确率 | F1分数 |
| — | — | — | — |
| LightGBM GBDT | 1.05s | 84.46% | 0.71 |
| XGBoost GBDT | 5.5s | 84.44% | 0.72 |
| TabTransformer | 113.63s | 77.00% | 0.64 |

可以看出，XGBoost和LightGBM在该数据集上表现相似，准确率达到84%，F1分数约为0.7。TabTransformer模型表现较差，准确率和F1分数较低。在训练时间方面，LightGBM比其他方法快得多，比XGBoost快5.23倍，比TabTransformer快108.22倍。

1.2 信用卡欺诈检测实验

1.2.1 数据集介绍

第二个任务是在信用卡交易数据集中检测欺诈交易。数据集可在https://www.kaggle.com