Datawhale夏令营零基础入门AI(机器学习)：Baseline学习

#AI夏令营 #Datawhale #夏令营

一、跑通baseline

进入百度飞桨平台：https://aistudio.baidu.com/projectdetail/8094146?sUid=4890304&shared=1&ts=1719315147213

注册之后一键运行即可，运行完成得到submit.csv提交讯飞平台即可获得分数，

平台地址：2024 iFLYTEK AI开发者大赛-讯飞开放平台

二、构思idea，调优baseline

baseline原有代码如下：

# 1. 导入需要用到的相关库
# 导入 pandas 库，用于数据处理和分析
import pandas as pd
# 导入 numpy 库，用于科学计算和多维数组操作
import numpy as np
# 从 lightgbm 模块中导入 LGBMClassifier 类
from lightgbm import LGBMClassifier


# 2. 读取训练集和测试集
# 使用 read_excel() 函数从文件中读取训练集数据，文件名为 'traindata-new.xlsx'
train = pd.read_excel('./data/data280993/traindata-new.xlsx')
# 使用 read_excel() 函数从文件中读取测试集数据，文件名为 'testdata-new.xlsx'
test = pd.read_excel('./data/data280993/testdata-new.xlsx')

# 3 特征工程
# 3.1 test数据不包含 DC50 (nM) 和 Dmax (%)，将train数据中的DC50 (nM) 和 Dmax (%)删除
train = train.drop(['DC50 (nM)', 'Dmax (%)'], axis=1)

# 3.2 将object类型的数据进行目标编码处理
for col in train.columns[2:]:
    if train[col].dtype == object or test[col].dtype == object:
        train[col] = train[col].isnull()
        test[col] = test[col].isnull()

# 4. 加载决策树模型进行训练
model = LGBMClassifier(verbosity=-1)
model.fit(train.iloc[:, 2:].values, train['Label'])
pred = model.predict(test.iloc[:, 1:].values, )

# 5. 保存结果文件到本地
pd.DataFrame(
    {
        'uuid': test['uuid'],
        'Label': pred
    }
).to_csv('submit.csv', index=None)

代码理解：

导入相关库:
- pandas 是一个数据分析和数据处理库。
- numpy 是一个用于科学计算和数组操作的库。
- LGBMClassifier 是 LightGBM 模块中的分类器类。
读取数据集:
- 使用 pandas 的 read_excel 函数读取训练集 traindata-new.xlsx 和测试集 testdata-new.xlsx。
特征工程:
- 从训练集中删除 ‘DC50 (nM)’ 和 ‘Dmax (%)’ 两列，因为这两列在测试集中不存在。
- 对于训练集和测试集中的非数值类型特征（object 类型），代码将其转换为是否缺失的布尔值（True/False）。
模型训练与预测:
- 初始化一个 LGBMClassifier 模型，设置 verbosity=-1 以减少输出信息。
- 使用训练集的特征（忽略前两列）和标签 Label 训练模型。
- 使用训练好的模型对测试集的特征（忽略第一列）进行预测。
保存结果:
- 将测试集的 uuid 和模型的预测结果 pred 组合成一个新的 DataFrame。
- 将这个 DataFrame 保存为 CSV 文件 submit.csv，并且不保存行索引。

关于模型：

LGBMClassifier 是 LightGBM（Light Gradient Boosting Machine）库中的一个类，用于实现基于梯度提升框架的分类任务。它使用基于决策树的算法，并且通过梯度提升来提高模型的性能。

LGBMClassifier 在分类问题中的表现通常非常好，尤其是当处理大规模数据集时。它支持包括二分类、多分类和回归任务在内的多种机器学习任务。

调优思路：

调整模型超参数：
1. learning_rate：学习率，较小的值通常需要更多的迭代次数，但可以提高模型的性能。
2. n_estimators：决策树的数量，即迭代次数。
3. max_depth：决策树的最大深度。
4. num_leaves：一棵树上的叶子节点的最大数量。
5. min_data_in_leaf：一个叶子节点上所需的最小数据量。
6. feature_fraction：每次迭代中随机选择的一部分特征的比例。
使用k折交叉验证
优化训练集和测试集