36、数据集优化与过拟合处理：提升模型性能的策略

数据集优化与过拟合处理：提升模型性能的策略

1. 理想数据集的构建与平衡处理

1.1 数据集长度设置

在构建数据集时，我们不再局限于特定数量的样本。为了减少训练开始到看到结果的时间，并获得每个 epoch 清晰的样本数量，我们可以根据条件设置数据集的长度。以下是相关代码：

def __len__(self):
    if self.ratio_int:
        return 200000
    else:
        return len(self.candidateInfo_list)

这里，如果 self.ratio_int 为真，则返回 200000 个样本；否则，返回 self.candidateInfo_list 的长度。你可以根据自己的需求调整 epoch 的长度。

1.2 平衡训练数据

为了平衡训练数据，我们添加了一个命令行参数 --balanced ，并将其传递给 LunaDataset 构造函数。以下是具体代码：

class LunaTrainingApp:
    def __init__(self, sys_argv=None):
        # ... line 52
        parser.add_argument('--balanced',