文章目录
一、赛题任务
给定多个房屋对应电力消耗历史N天的相关序列数据等信息,预测房屋对应电力的消耗。
二、赛题数据简介
赛题数据由训练集和测试集组成,为了保证比赛的公平性,将每日日期进行脱敏,用1-N进行标识。
即1为数据集最近一天,其中1-10为测试集数据。
数据集由字段id(房屋id)、 dt(日标识)、type(房屋类型)、target(实际电力消耗)组成。
三、使用lightgbm解决问题
1. 下载Python库lightgbm
由于解决问题需要用到进阶模型lightgbm,而飞桨平台的BML CodeLab中没有相应的库,需要通过运行程序来安装。
使用的lightgbm库版本为3.3.0,该版本在模型训练时需传递参数verbose_eval(每隔verbose_eval次迭代,输出一次评估结果)与early_stopping_rounds(如果验证度量在最后一轮停止后没有改进,该参数将停止训练),而4.0.0之后(待验证)的版本则不需要。
!pip install lightgbm==3.3.0
2. 导入模块
import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')
3. 探索性数据分析(EDA)
导入数据集
由于代码在飞桨平台的BML CodeLab上运行,因此训练集和测试集的目录与task1中的baseline一致。
train = pd.read_csv('./data/data283931/train.csv')
test = pd.read_csv('./data/data283931/test.csv')
训练集中部分数据如下:
- id:房屋id;
- dt:日标识,训练数据dt最小为11,不同id对应序列长度不同;
- type:房屋类型,通常而言不同类型的房屋整体消耗存在比较大的差异;
- target:实际电力消耗,本次比赛的预测目标。
数据的直观显示:房屋类型-平均实际电力消耗柱状图
根据房屋类型type的值划分target集合,并计算各自type值对应的平均target值,以柱状图形式输出。
import matplotlib.pyplot as plt
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue',