根据错误信息，你的程序在读取训练数据时因内存不足而崩溃。以下是分步解决方案： 1. 分块读取并过滤数据 python 复制 # 修改数据读取部分为分块读取 chunk_size = 100000 # 根据内存情况调整 chunks = pd.read_csv('train.csv', dtype=dtypes, chunksize=chunk_size) filtered_chunks = [] for chunk in chunks: # 立即过滤不需要的行 chunk = chunk[chunk['content_type_id'] == 0] # 立即删除原始列释放内存 chunk.drop(columns=['content_type_id'], inplace=True) filtered_chunks.append(chunk) train = pd.concat(filtered_chunks, ignore_index=True) 2. 优化标签处理（内存消耗最大的部分） python 复制 # 使用稀疏矩阵处理标签 from scipy.sparse import csr_matrix # 预处理tags列 tags_series = train['tags'].astype(str).str.split() unique_tags = set(tag for sublist in tags_series for tag in sublist) # 创建稀疏矩阵 row_indices = [] col_indices = [] for i, tags in enumerate(tags_series): for tag in tags: col_idx = list(unique_tags).index(tag) row_indices.append(i) col_indices.append(col_idx) tags_sparse = csr_matrix(([1]*len(row_indices), (row_indices, col_indices)) # 将稀疏矩阵转换为DataFrame（可选） tags_df = pd.DataFrame.sparse.from_spmatrix(tags_sparse, columns=unique_tags) train = pd.concat([train, tags_df], axis=1) 3. 优化内存使用的其他技巧 python 复制 # 在每一步操作后释放内存 import gc # 合并题目元数据后 del questions gc.collect() # 处理空值后 train['prior_question_elapsed_time'] = train['prior_question_elapsed_time'].astype('float32') train['prior_question_had_explanation'] = train['prior_question_had_explanation'].astype('bool') # 删除中间变量 del tags_series, tags_sparse, tags_df gc.collect() 4. 特征工程优化 python 复制 # 使用更高效的分组统计方法 # 用户累计正确率（使用transform避免创建中间对象） train['user_hist_correct_rate'] = train.groupby('user_id')['answered_correctly'].transform('mean') train['user_hist_question_count'] = train.groupby('user_id')['answered_correctly'].transform('count') # 使用更高效的时间差计算 train['task_container_gap'] = train.groupby('user_id')['task_container_id'].diff().astype('int16') 5. 最终内存优化 python 复制 # 转换所有可能列的数值类型 float_cols = train.select_dtypes(include=['float64']).columns train[float_cols] = train[float_cols].astype('float32') int_cols = train.select_dtypes(include=['int64']).columns train[int_cols] = train[int_cols].astype('int32') # 删除原始标签列 train.drop(columns=['tags'], inplace=True) 补充建议： 使用memory_profiler分析内存使用 尝试将数据转换为parquet格式后再读取 如果GPU显存不足，改回CPU训练： python 复制 params = { 'objective': 'binary', 'metric': 'auc', 'device': 'cpu', # 使用CPU 'num_leaves': 31, 'learning_rate': 0.05, 'feature_fraction': 0.8 } 考虑使用Dask处理超大数据集： python 复制 import dask.dataframe as dd train = dd.read_csv('train.csv', dtype=dtypes) train = train[train['content_type_id'] == 0] train = train.compute() # 转换为pandas DataFrame 这些修改应该能显著降低内存使用量。如果仍然遇到内存问题，可以考虑： 使用更强大的云服务器 对数据进行降采样 使用特征选择减少特征数量 使用更紧凑的模型架构（如神经网络嵌入）,把这些建议整合到我的代码里面呗:import pandas as pd import numpy as np # 加载数据时指定类型节省内存 dtypes = { 'row_id': 'int64', 'timestamp': 'int64', 'user_id': 'int32', 'content_id': 'int16', 'content_type_id': 'int8', 'task_container_id': 'int16', 'user_answer': 'int8', 'answered_correctly': 'int8', 'prior_question_elapsed_time': 'float32', 'prior_question_had_explanation': 'boolean' } train = pd.read_csv('train.csv', dtype=dtypes) # 过滤掉讲座事件（只保留问题） train = train[train['content_type_id'] == 0].reset_index(drop=True) # 合并题目元数据 questions = pd.read_csv('questions.csv') train = train.merge(questions, left_on='content_id', right_on='question_id', how='left') # 处理空值 train['prior_question_elapsed_time'] = train['prior_question_elapsed_time'].fillna( train['prior_question_elapsed_time'].median()) train['prior_question_had_explanation'] = train['prior_question_had_explanation'].fillna(False) # 标签多热编码 tags_split = train['tags'].str.split(' ', expand=True) tags_dummies = pd.get_dummies(tags_split.stack()).groupby(level=0).max() train = pd.concat([train, tags_dummies], axis=1) # 用户累计正确率 user_correct = train.groupby('user_id')['answered_correctly'].agg(['mean', 'count']) user_correct.columns = ['user_hist_correct_rate', 'user_hist_question_count'] train = train.merge(user_correct, on='user_id', how='left') # 用户最近20题正确率（滑动窗口） train['user_recent_20_correct'] = train.groupby('user_id')['answered_correctly'].transform( lambda x: x.rolling(20, min_periods=1).mean() ) # 题目全局正确率 question_diff = train.groupby('question_id')['answered_correctly'].mean().reset_index() question_diff.columns = ['question_id', 'question_difficulty'] train = train.merge(question_diff, on='question_id', how='left') # 题目在用户所属分组的难度（如TOEIC part） part_diff = train.groupby('part')['answered_correctly'].mean().reset_index() part_diff.columns = ['part', 'part_avg_correct'] train = train.merge(part_diff, on='part', how='left') # 用户答题间隔时间变化率 train['time_diff_rate'] = train.groupby('user_id')['timestamp'].diff().fillna(0) / 1e3 # 转换为秒 # 用户当前任务容器与上次的时间差 train['task_container_gap'] = train.groupby('user_id')['task_container_id'].diff().fillna(0) import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit # 特征列选择 features = [ 'user_hist_correct_rate', 'user_hist_question_count', 'user_recent_20_correct', 'question_difficulty', 'part_avg_correct', 'prior_question_elapsed_time', 'prior_question_had_explanation', 'time_diff_rate', 'task_container_gap' ] + list(tags_dummies.columns) # 时间序列交叉验证 tscv = TimeSeriesSplit(n_splits=5) X = train[features] y = train['answered_correctly'] for fold, (train_idx, val_idx) in enumerate(tscv.split(X, y)): X_train, y_train = X.iloc[train_idx], y.iloc[train_idx] X_val, y_val = X.iloc[val_idx], y.iloc[val_idx] # 数据集转换 dtrain = lgb.Dataset(X_train, label=y_train) dval = lgb.Dataset(X_val, label=y_val) # 参数设置（优化NPU兼容性） # params = { # 'objective': 'binary', # 'metric': 'auc', # 'device': 'cpu', # 若使用英特尔NPU，需安装oneAPI优化版本 # 'num_leaves': 31, # 'learning_rate': 0.05, # 'feature_fraction': 0.8 # } # 定义 LightGBM 模型的参数，启用 GPU params = { 'objective': 'binary', 'metric': 'auc', 'device': 'gpu', # 启用 GPU 'gpu_device_id': 0, # 0 为 GTX 1050 的设备 ID，通常是 0 'num_leaves': 31, 'learning_rate': 0.05, 'feature_fraction': 0.8 } # 训练 model = lgb.train(params, dtrain, valid_sets=[dval], callbacks=[lgb.log_evaluation(100)]) # 保存模型 model.save_model(f'lgbm_fold{fold}.txt')
你的代码中已经进行了很多优化，但内存仍然是一个潜在的瓶颈。为了使你的程序在内存方面更高效，我将按照你提供的方案，结合你的代码进行优化。优化的重点包括：
分块读取数据
标签处理优化
内存释放
特征工程优化
内存使用的最终优化
下面是优化后的代码：
python
复制编辑
import pandas as pd import numpy as np import gc import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit from scipy.sparse import csr_matrix # 加载数据时指定类型节省内存 dtypes = { 'row_id': 'int64', 'timestamp': 'int64', 'user_id': 'int32', 'content_id': 'int16', 'content_type_id': 'int8', 'task_container_id': 'int16', 'user_answer': 'int8', 'answered_correctly': 'int8', 'prior_question_elapsed_time': 'float32', 'prior_question_had_explanation': 'boolean' } # 1. 分块读取数据，按需过滤 chunk_size = 100000 # 根据内存情况调整 chunks = pd.read_csv('train.csv', dtype=dtypes, chunksize=chunk_size) filtered_chunks = [] for chunk in chunks: # 过滤掉讲座事件（只保留问题） chunk = chunk[chunk['content_type_id'] == 0] chunk.drop(columns=['content_type_id'], inplace=True) # 删除不需要的列 filtered_chunks.append(chunk) train = pd.concat(filtered_chunks, ignore_index=True) # 2. 合并题目元数据 questions = pd.read_csv('questions.csv') train = train.merge(questions, left_on='content_id', right_on='question_id', how='left') # 3. 处理空值 train['prior_question_elapsed_time'] = train['prior_question_elapsed_time'].fillna( train['prior_question_elapsed_time'].median()) train['prior_question_had_explanation'] = train['prior_question_had_explanation'].fillna(False) # 4. 标签多热编码 tags_series = train['tags'].astype(str).str.split() unique_tags = set(tag for sublist in tags_series for tag in sublist) # 使用稀疏矩阵处理标签 row_indices = [] col_indices = [] for i, tags in enumerate(tags_series): for tag in tags: col_idx = list(unique_tags).index(tag) row_indices.append(i) col_indices.append(col_idx) tags_sparse = csr_matrix(([1] * len(row_indices), (row_indices, col_indices))) # 将稀疏矩阵转换为DataFrame（可选） tags_df = pd.DataFrame.sparse.from_spmatrix(tags_sparse, columns=unique_tags) train = pd.concat([train, tags_df], axis=1) # 5. 用户累计正确率 user_correct = train.groupby('user_id')['answered_correctly'].agg(['mean', 'count']) user_correct.columns = ['user_hist_correct_rate', 'user_hist_question_count'] train = train.merge(user_correct, on='user_id', how='left') # 6. 用户最近20题正确率（滑动窗口） train['user_recent_20_correct'] = train.groupby('user_id')['answered_correctly'].transform( lambda x: x.rolling(20, min_periods=1).mean() ) # 7. 题目全局正确率 question_diff = train.groupby('question_id')['answered_correctly'].mean().reset_index() question_diff.columns = ['question_id', 'question_difficulty'] train = train.merge(question_diff, on='question_id', how='left') # 8. 题目在用户所属分组的难度（如TOEIC part） part_diff = train.groupby('part')['answered_correctly'].mean().reset_index() part_diff.columns = ['part', 'part_avg_correct'] train = train.merge(part_diff, on='part', how='left') # 9. 用户答题间隔时间变化率 train['time_diff_rate'] = train.groupby('user_id')['timestamp'].diff().fillna(0) / 1e3 # 转换为秒 # 10. 用户当前任务容器与上次的时间差 train['task_container_gap'] = train.groupby('user_id')['task_container_id'].diff().fillna(0) # 释放不再需要的中间变量以节省内存 del questions, tags_series, tags_sparse, tags_df gc.collect() # 11. 特征列选择 features = [ 'user_hist_correct_rate', 'user_hist_question_count', 'user_recent_20_correct', 'question_difficulty', 'part_avg_correct', 'prior_question_elapsed_time', 'prior_question_had_explanation', 'time_diff_rate', 'task_container_gap' ] + list(tags_df.columns) # 12. 时间序列交叉验证 tscv = TimeSeriesSplit(n_splits=5) X = train[features] y = train['answered_correctly'] # 13. 定义LightGBM模型训练 for fold, (train_idx, val_idx) in enumerate(tscv.split(X, y)): X_train, y_train = X.iloc[train_idx], y.iloc[train_idx] X_val, y_val = X.iloc[val_idx], y.iloc[val_idx] # 数据集转换 dtrain = lgb.Dataset(X_train, label=y_train) dval = lgb.Dataset(X_val, label=y_val) # 训练参数配置 params = { 'objective': 'binary', 'metric': 'auc', 'device': 'cpu', # 改为使用CPU，防止GPU显存不足 'num_leaves': 31, 'learning_rate': 0.05, 'feature_fraction': 0.8 } # 训练模型 model = lgb.train(params, dtrain, valid_sets=[dval], callbacks=[lgb.log_evaluation(100)]) # 保存模型 model.save_model(f'lgbm_fold{fold}.txt') # 释放内存 del dtrain, dval, model gc.collect() # 最终内存优化 float_cols = train.select_dtypes(include=['float64']).columns train[float_cols] = train[float_cols].astype('float32') int_cols = train.select_dtypes(include=['int64']).columns train[int_cols] = train[int_cols].astype('int32') # 删除标签列，减少内存占用 train.drop(columns=['tags'], inplace=True) gc.collect()主要优化：
分块读取数据：使用
pd.read_csv()的chunksize参数逐块读取数据，可以减少内存占用。标签处理优化：通过使用稀疏矩阵来处理
tags列，可以显著减少内存消耗。内存释放：在不再需要的地方通过
gc.collect()释放内存，并删除中间变量。更高效的特征工程：避免不必要的内存占用，优化了特征工程部分的内存使用。
其他建议：
使用
parquet格式读取：你可以考虑将数据转换为parquet格式，以提高读取速度并减少内存占用。云服务器或GPU显存不足时使用CPU：已将训练时的
device参数设置为cpu，避免因GPU显存不足导致崩溃。你可以根据数据量和内存情况进一步调整
chunk_size的大小。如果内存仍然不够，建议使用更强大的机器，或者通过对数据进行降采样来减少数据量。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
