李宏毅2021年机器学习作业4（Self-attention）实验记录

最新推荐文章于 2022-10-10 22:17:14 发布
最新推荐文章于 2022-10-10 22:17:14 发布
阅读量3.5k 收藏 14
点赞数 3
分类专栏： 李宏毅机器学习 文章标签： 深度学习 linux 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42994201/article/details/121366280
版权

李宏毅2021年机器学习作业4学习笔记

前言

声明：本文参考了李宏毅机器学习2021年作业例程，开发平台是kaggle notebook。

一、问题描述

识别出声音信号是哪个人说的，实质是一个classification问题。
B站作业讲解视频
Kaggle地址

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Baselines:
○ Simple: Run sample code and know how to use transformer. 0.82523
○ Medium: Know how to adjust parameters o

最低0.47元/天 解锁文章
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 6277
self-attention，transformer及变形
李宏毅机器学习笔记-----Self-Attention
m0_56250941的博客
07-29 409
Self-Attention
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ git clone 下载方式 2 网页下载 更新记录 PPT部分 路径：machineLearningDeepLearning/ppt 第七章 已同步官网更新到第九章 Domain Adaptation/RL Video部分  课程介绍 中文 英文 第一章 中文 英文 第二章 中文 英文 第三章 中文 英文 更新部分 第四章 中文 英文 未更新 第五章 中文 第六章 中文 第七章 中文 第八章 中文 第九章 官网暂未更新 HomeWork部分 路径：machineLearningDeepLearning/homework
2021李宏毅机器学习（4）：卷积神经网络CNN
niexinyu0026的博客
02-17 2091
2021李宏毅机器学习（4）：卷积神经网络CNN1 前言2 简化方法1：Receptive field（感受野） 1 前言 图片一般用的是三维的张量，也就是： 三维就是　长度＊高度＊通道数，在长宽里面每一个长度、宽度都包含了一个像素，像素里面包含了三个数字（RGB这三个通道的），为了能够输入进神经网络，就把这三维拉直成一个tensor： 从图片可以看出，这样的数据量其实是非常巨大的，于是我们想要简化。那么，我们是如何进行图片识别的？ 比如我们识别一个鸟，是通过它的特定部分（比如鸟嘴、爪子）识别的，因此，
Lhy_Machine_Learning：李宏毅2021Spring机器学习课程课件及作业
03-03
Lhy_Machine_Learning 李宏毅2021Spring机器学习课程课件及作业 B站视频地址： : 课程主页： : 不定期分享读研干货，点赞关注一起进步： ://space.bilibili.com/46880349 人工智能技术探讨群：78174903 第一节简介作业HW1：回归 第二节深度学习作业HW2：分类 第三节自我注意作业HW3：CNN HW4：自我注意 第四节机器学习理论 第五节变压器作业HW5：变压器 第六节生成模型作业HW6：GAN 第七节自我监督学习作业HW7：BERT HW8：自动编码器 第八节可解释的AI /对抗攻击作业HW9：可解释的AI HW10：对抗攻击 第九节域适应/ RL作业HW11：适应 第十节RL作业HW12：RL 第十篇隐私与ML 第十二节Quantum ML 第十三节Life / Long / Compression作业HW1
李宏毅2021机器学习深度学习笔记PPT作业
09-05
李宏毅2021机器学习深度学习笔记PPT作业
【李宏毅2021机器学习深度学习——作业4 Self-Attention】Speaker classification 记录（双过strong baseline）（待改进）
py今天刷题了吗
02-07 2889
文章目录实验记录（双过strong baseline）代码理解样例代码ConformerBlock参数设置（照抄）实验bug修改安装comformer库遇到No module named问题（jupyter lab使用的环境是python3.7，下载的是envs/python38）改进空间（待改进）参考资料 实验记录（双过strong baseline） 增大d_model = 512 只修改batch_size=128和head=1,接近medium 代码理解 样例代码 主要理解dim_feedfor
李宏毅2021机器学习课程：self-attention技术解析
"李宏毅老师的2021年机器学习课程讲义——self-attention" 在深度学习领域，self-attention机制是近年来受到广泛关注的一种技术，尤其在自然语言处理（NLP）和序列建模任务中表现突出。该机制首次在Transformer模型...
李宏毅机器学习2021笔记—self-attention（上）
zghnwsc的博客
04-21 1919
本文为李宏毅老师机器学习2021的self attention一节的学习笔记，接在CNN之后。学习本节之前，需要有一定的基础知识。 self attention解决的问题 到目前为止，我们network的input都是一个向量，输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。 比如文字处理的时候： 比如我们输入词汇，每个词汇都相当于一个向量，我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，就是它假设所有的词汇都是没.
【李宏毅2021机器学习深度学习——作业2 Classification】 Phoneme Classification 记录（双过strong baseline）
py今天刷题了吗
12-27 2588
文章目录实验结果：（接近 strong baseline，等待改进中...）可视化实验记录：（稳定在0.75升不上去了，50个epoch可以收敛了）修改记录：做完这个实验应该有的收获：参考资料： 实验结果：（接近 strong baseline，等待改进中…） 可视化实验记录：（稳定在0.75升不上去了，50个epoch可以收敛了） 修改记录： 数据方面： 调整验证集比例为0.01，不需要那么多：VAL_RATIO = 0.01 BATCH_SIZE = 2048,用到bn,BATCH_SIZE必须大
李宏毅机器学习作业
01-18
李宏毅机器学习作业，文档文件，笔记全面，总结充分，仅供学习
【李宏毅机器学习2021】Task01 机器学习介绍
QAQterrible的博客
10-10 663
【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-2022》的学习笔记。本次是对机器学习介绍的学习总结。本节通过学习视频了解到李老师对机器学习课程的整体安排，介绍了每个章节的侧重点，从回归开始，由有监督到半监督，无监督。以及后续的mata learning。整体介绍目前深度学习的学习大纲。讲解中也穿插了有多有趣的例子，容易接受同时也充满乐趣。希望在参加本次学习课程可以拓宽自己的知识面，打扎实基础理论，点满技能树，在丰富作业体系下提升自己的DLcoing能力。
李宏毅2021春机器学习HW1——记录与拓展
热门推荐
居三木的博客
07-31 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
李宏毅2021年机器学习作业3（CNN—classification）实验记录
上海交通大学电院毕业，现互联网大厂开发工程师
11-16 4827
李宏毅2021年机器学习作业2学习笔记前言一、问题描述二、实验过程2.1 跑助教提供的baseline2.2 加入image-augmentation2.3 修改数据增强部分2.4 在2.3基础上，最后全连接层处理2.5 半监督三、总结 前言 声明：本文参考了李宏毅机器学习2021年作业例程，开发平台是kaggle notebook。 另一个优快云大佬的博客 一、问题描述 实质是一个用CNN做多分类问题。 B站作业讲解视频 Kaggle地址 一个大佬的代码 二、实验过程 2.1 跑助教提供的baseli
李宏毅2021年机器学习作业7（bert）实验记录
上海交通大学电院毕业，现互联网大厂开发工程师
11-20 2098
李宏毅2021年机器学习作业7学习笔记前言一、问题描述二、实验过程2.1 跑助教提供的原始代码2.2 修改窗口2.3 加Linear Learning rate decay2.4 改变窗口切取位置2.5 后续可以改进的方向：postprocessing2.6 后续可以改进的方向：换pre-train model三、总结 前言 声明：本文参考了李宏毅机器学习2021年作业例程，开发平台是kaggle notebook。 一、问题描述 给机器一个文章和一个问题，要求输出问题的答案，简单来说就是QA问题。 B站作
深度学习入门 | 李宏毅作业 HW4（NLP）
qq_40933711的博客
04-16 5840
文章目录一、构造Data集自定义Dataset类构造Dataloader报错：broken pipe二、构建模型2.1 Base模型留下作业：进阶难度，自己架构Transformer。2.2 验证模型2.2.1 model_fn：输入一组bacth数据进入模型，输出损失和准确率2.2.2 Validate：计算验证集上的损失2.3 更新模型，存储模型最优参数三、预测数据3.1 定义预测集Data3.2 加载最优模型，预测label 任务描述：Speaker Identification 这是一个语音识别任务
李宏毅机器学习2021作业1感受
qq_40148692的博客
01-24 1096
在阅读完助教的源代码以及看过几位大佬的作业讲解后： 【李宏毅2021机器学习深度学习——作业1 Regression】COVID-19 Cases Prediction 记录（双过strong baseline）_py今天刷题了吗-优快云博客_李宏毅机器学习作业https://blog.youkuaiyun.com/weixin_43154149/article/details/121635271?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164
【李宏毅2021机器学习深度学习】hw8 作业讲解
py今天刷题了吗
01-07 1176
文章目录训练资料只有正常资料，而无异常资料做法：评价标准：Kaggle 评分标准ROC如何计算？一些提示： 训练资料只有正常资料，而无异常资料 正常标签是0，异常是1 做法： 评价标准： 右边的sensor比较好（极端化，给准确的较高的分数，且有一个大的gap能够区分开） Kaggle 评分标准 ROC如何计算？ 一些提示： ...
【李宏毅2021机器学习深度学习——作业3 CNN】Food Image Classfication 记录（双过 strong baseline）
py今天刷题了吗
12-17 2878
文章目录写在前面做完这个实验应该有的收获：先上实验结果（直接使用pytorch内置的模型resnet18(pretrain=False)，双过 strong baseline,过线一点点，学习用就行了）一些改进想法：一些 参考 及 链接： 写在前面 新手入门，相互学习，期待大佬有更好的想法。 做完这个实验应该有的收获： 使用CNN进行图片分类 学习到 data augmentations（有22种之多，但并不是每种都有用，看情况） 使用无监督学习(主要)（用上大量 unlabeled data辅助训练）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DogDog_Shuai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值