李宏毅2022机器学习hw4

最新推荐文章于 2024-03-03 18:23:50 发布
原创 最新推荐文章于 2024-03-03 18:23:50 发布 · 850 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

本文是李宏毅机器学习课程的HW4，涉及VoxCeleb2语音识别任务。通过逐步改进模型，从简单线性模型到Boss Baseline，实现了超过0.8575的准确率，包括使用Conformer架构和Self-Attention Pooling等技术。

目录

Machine Learning HW4 

一、任务

二、数据集

三、结果

四、改进方法

        4.1 Simple line (acc>0.6082)

        运行课程上给的基础代码。

        4.2 Medium Baseline (acc>0.7037)

        调整transformer modules层的参数

        4.3 Strong Baseline (acc>0.7775)

        将transform改为conform架构

        4.4 Boss Baseline (acc>0.8575)

        加入Self-Attention Pooling和Additive Margin Softmax，并对conformer进行调参。

Machine Learning HW4 

一、任务

        对于一段语音判断它是哪一个人发出的。

二、数据集

         VoxCeleb2，数据集过大，可以在官网下载

 

三、结果

全过bossline。

 

四、改进方法

        4.1 Simple line (acc>0.6082)

                运行课程上给的基础代码。

        4.2 Medium Baseline (acc>0.7037)

最低0.47元/天 解锁文章
2022李宏毅作业hw4 - 挫败感十足的一次作业。
YI_SHU_JIA的博客
05-30 5516
难难难 难于上青天 def __init__(self, data_dir, segment_len=128): self.data_dir = data_dir self.segment_len = segment_len # Load the mapping from speaker neme to their corresponding id. mapping_pa...
李宏毅 HW4 hard baseline 解析
qq_43613342的博客
09-20 1539
李宏毅 hw04 hardbaseline 解析
【李宏毅2022 机器学习春】hw4_Self-Attention（接近 strong baseline，等待改进中）
py今天刷题了吗
04-06 1996
文章目录实验记录评分标准收获 实验记录 去年的程序，洗洗还能用：【李宏毅2021机器学习深度学习——作业4 Self-Attention】Speaker classification 记录（双过strong baseline）（待改进） 评分标准 收获 train的准确率是1，说明过拟合了把所有样本记下来了，必须Additive Margin Softmax to使任务更难一点。 ...
李宏毅2022机器学习HW4解析
weixin_42369818的博客
04-08 7208
李宏毅2022机器学习HW4解析！
李宏毅机器学习2022春季-第四课和HW4
weixin_42369818的博客
03-14 1803
李宏毅机器学习2022春季，作业四发布！
精选资源
李宏毅机器学习hw4.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅机器学习2021HW3食物数据集
07-06
1、本资源为台大李宏毅深度学习课程作业数据集。 2、训练集内含课程所需数据集 3、提供下载便利
精选资源
李宏毅机器学习HW5.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
精选资源
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
《李宏毅2020机器学习作业3：Python实现深度学习基础》 在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和...
李宏毅机器学习HW4 代码
weixin_46524058的博客
07-27 1799
留给自己看的，没啥参考价值
hw4的所需数据集.zip
07-07
下载之后解压为三个文本文件
李宏毅21作业七使用的数据集
08-05
用BERT模型做Q&A的问题，内含训练集，测试集和开发集，格式是json格式
深度学习入门 | 李宏毅作业 HW4（NLP）
qq_40933711的博客
04-16 6057
文章目录一、构造Data集自定义Dataset类构造Dataloader报错：broken pipe二、构建模型2.1 Base模型留下作业：进阶难度，自己架构Transformer。2.2 验证模型2.2.1 model_fn：输入一组bacth数据进入模型，输出损失和准确率2.2.2 Validate：计算验证集上的损失2.3 更新模型，存储模型最优参数三、预测数据3.1 定义预测集Data3.2 加载最优模型，预测label 任务描述：Speaker Identification 这是一个语音识别任务
【李宏毅】深度学习——HW4-Speaker Identification
m0_51474171的博客
04-07 1328
记录李宏毅老师春季学习课程的hw4完成步骤
李宏毅hw4,训练+调优
ronghwa_lu
10-28 1151
本次作業為 Twitter 上收集到的推文，每則推文都會被標注為正面或負面 https://blog.youkuaiyun.com/iteapoy/article/details/105931612 https://www.cnblogs.com/zyb993963526/p/13784199.html
李宏毅机器学习课后作业（hw4）
qq_40296501的博客
11-26 451
李宏毅机器学习课后作业（hw4）
李宏毅_机器学习_作业4（详解）_HW4 Classify the speakers
loco_monkey的博客
07-12 6491
李宏毅_机器学习_作业4（详解）_HW4 Classify the speakers
李宏毅2022深度学习作业 Homework 4：Speaker Identification
qq_46370474的博客
02-02 1628
对给定特征的说话人进行分类。
李宏毅机器学习hw4 Boss baseline（2023）
asf2013的博客
03-03 658
分类任务，每条数据是时间序列，长度128，特征维度402023ML课程网站以上可能需要科学上网。
李宏毅2022机器学习 hw3
最新发布
05-17
### 李宏毅 2022 机器学习 HW3 的主要内容 #### 资料概述 李宏毅教授的《2022机器学习》课程中的第三次作业（HW3）主要围绕图像分类展开，涉及模型设计、数据增强以及优化策略等内容。以下是关于该次作业的一些核心要点： 1. **训练数据增强** 数据增强技术被广泛应用于提升模型性能。通过增加样本多样性来减少过拟合现象的发生，在本次作业中，采用数据增强方法后，private leaderboard得分达到了0.760562[^1]。 2. **交叉验证与集成学习 (Cross Validation & Ensemble)** 使用交叉验证和模型集成的方法可以进一步提高预测准确性。这种方法使得private leaderboard上的得分为0.816473[^1]。 3. **测试集数据增强 (Test Dataset Augmentation)** 测试阶段的数据增强同样重要，它能够帮助模型更好地泛化到未见过的数据上。应用此技巧之后，private score上升至0.82458[^1]。 4. **ResNet架构的应用** ResNet作为一种经典的卷积神经网络结构，因其残差连接机制而闻名。在本作业中选用ResNet50作为基础框架，并对其进行了自定义修改以适配特定任务需求。具体实现如下所示： ```python import torch.nn as nn from torchvision import models def ResNet1(): model = models.resnet50(weights=None) model.conv1.in_channels = 3 model.fc = nn.Sequential( nn.Flatten(), nn.Linear(2048, 512), nn.LeakyReLU(0.1), nn.BatchNorm1d(512), nn.Dropout(0.2), nn.Linear(512, 11) ) model.fc.out_features = 11 return model ``` 此外，利用ResNet并调整超参数可使private leaderboard成绩达到0.86555[^1]。 5. **图像标准化处理 (Image Normalization)** 对输入图片进行规范化操作有助于加速收敛过程并改善最终效果。实施这一措施后，private score升至0.87494[^1]。 6. **Batch Size的影响** 批量大小的选择对于梯度估计质量有着直接影响。适当减小batch size可能会带来更优的结果——在此案例下，相应分数为0.895[^1]。 7. **Label Smoothing的作用** Label smoothing是一种正则化手段，旨在缓解因硬标签带来的潜在问题。其引入对整体表现亦有正面贡献。 8. **强基线改进方案 (Strong Baseline Enhancement)** 针对比标准版更强力的基础解决方案而言，除了加深网络层数之外还增加了迭代轮数；与此同时配合Test Time Augmentation(TTA)，即分别基于不同转换方式创建多个用于评估的加载器(testloader)并将它们按一定比例加权组合起来共同决定最后输出概率分布向量的形式。经由这些改动后的总评分为0.88247，距离顶级水平已然非常接近但仍需继续探索最佳配置选项[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想的小鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值