2022李宏毅机器学习hw2

目录

一、任务

 数据下载

结果

 二、改进方法

2.1 Simple line (acc>0.45797)

2.2 Medium Baseline (acc>0.69747)

2.3 Strong Baseline (acc>0.75028)

2.4 Boss Baseline (acc>0.82324)

三、总结

---

Machine Learning HW2 

一、任务

        根据一帧前后的其他帧判断当前帧是属于哪个phoneme。

 数据下载

百度网盘：

链接：https://pan.baidu.com/s/1IptOdLPBAt-WZAY0grCeCw?pwd=s0k9 
提取码：s0k9

 

结果

全过strong baselin，public score与bossline差0.2

 

 

 二、改进方法

2.1 Simple line (acc>0.45797)

运行课程上给的基础代码

2.2 Medium Baseline (acc>0.69747)

对concat n frames，add layers两个参数进行调整

concat_nframes = 33

hidden_layers = 6   

concat n frames：表示对该帧进行分类时，所关注的相邻的帧的个数，必须为奇数，理论上改值约大越好，但存在边际效用，达到某一值后再增大只能取得微弱的提升，但是训练速度会大幅增加。

增加模型的层数，基础代码层数较少，模型较为简单，所取得的效果不佳。

2.3 Strong Baseline (acc>0.75028)

concat n frames，batchnorm，dropout，add layers

class BasicBlock(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(BasicBlock, self).__init__()

        self.block = nn.Sequential(
            nn.Linear(input_dim, output_dim),
            nn.LeakyReLU(0.1),
            nn.BatchNorm1d(output_dim),
            nn.Dropout(0.4),
        )

    def forward(self, x):
        x = self.block(x)
        return x

对于模型架构进行调整，加入batchnorm和dropout，降低过拟合，同时可以将隐藏层增加到6层，每一层神经元个数增加到1024个。

2.4 Boss Baseline (acc>0.82324)

RNN，使用之后效果并不好，考虑使用LSTM或者Transform

三、总结

        这一次作业较为基础，基本上改改几个参数就能上到比较好的结果。