Recurrent Neural Network（李宏毅）机器学习 2023 Spring HW2 (Boss Baseline)

已于 2025-01-04 05:07:09 修改
阅读量992 收藏 14
点赞数 21
文章标签： 机器学习 lstm rnn 循环神经网络 人工智能 神经网络 深度学习
于 2025-01-03 03:47:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_66773231/article/details/144898687
版权

1. Recurrent Neural Network 介绍

1.1 Recurrent Neural Network (RNN)

RNN是一种适合处理序列数据的神经网络，可以通过隐藏层状态保存序列信息。它通过循环结构更新隐藏状态，捕获时间序列的依赖关系。

h_t = f(W_h h_{t-1} + W_x x_t + b) \\

其中：

  • h_t ​：当前时间步隐藏状态

  • h_{t-1} ​：上一时间步隐藏状态

  • x_t ​：当前输入

  • W_h,W_x,b ：权重和偏置

  • f：激活函数（如tanh或ReLU）

Recurrent Neural Network (source: https://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf)标题

1.2 Long Short-Term Memory (LSTM)

LSTM是简单RNN模块的改进版本，解决了普通RNN的梯度消失问题。它引入了“门”机制（输入门、遗忘门、输出门）和细胞状态，用于长期依赖建模。

遗忘门：f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)

输入门： i_t = \sigma(W_i [h_{t-1}, x_t] + b_i), \quad \tilde{C}_t = \tanh(W_C [h_{t-1}, x_t] + b_C)

Cell 状态更新： C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t

输出门： o_t = \sigma(W_o [h_{t-1}, x_t] + b_o), \quad h_t = o_t \odot \tanh(C_t)

其中： \sigma 是Sigmoid函数， \odot 表示逐元素乘法。

标题LSTM (source: https://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf)

标题LSTM Detail (source: https://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf)

1.3 Bidirectional LSTM (BiLSTM)

BiLSTM是LSTM的扩展，结合了前向和后向两个方向的信息，适合捕获序列的全局上下文。它利用两个LSTM：前向（从左到右）和后向（从右到左），并在输出将前向和后向的隐藏状态拼接

h_t = [\overrightarrow{h_t}; \overleftarrow{h_t}] \\

其中 \overrightarrow{h_t} ​​ 和 \overleftarrow{h_t} 分别表示前向和后向隐藏状态。

标Bidirectional RNN (source: https://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf)题

2. Homework Results and Analysis

HW2 是一个多分类任务，我们将根据语音进行逐帧的音素预测。音素是语言中最小的语音单位，可以用来区分不同的单词。音素与字母不同，它们代表的是发音。在书写中，一个音素可能对应多个字母或字母组合。

task introduction (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2023-course-data/HW02+%E8%81%BD%E6%B8%AC.pdf)标题

音频信号将被划分为重叠的帧，每帧持续 25 毫秒，相邻帧之间的间隔为 10 毫秒。

Acoustic Features (source: https://speech.ee.ntu.ed
最低0.47元/天 解锁文章
李宏毅机器学习hw2 Boss baseline（2023）
asf2013的博客
03-02 1733
是一个语音转MFCC帧后的识别分类问题2023ML课程网站以上可能需要科学上网加复杂度和epoch就行了。
Transformer（李宏毅）机器学习 2023 Spring HW5 (Boss Baseline)
m0_66773231的博客
01-04 1096
许多机器学习任务，如语音识别、机器翻译与语音翻译等，都有一个共同的特点：它们都需要将一个输入序列转换为一个输出序列，并且输入序列和输出序列的长度通常是不固定的。Seq2Seq（Sequence-to-Sequence）模型正是为了解决这类问题而设计的。Seq2Seq 模型是一种用于处理序列数据的深度学习模型，主要用于将一个输入序列转换为另一个输出序列。传统的Seq2Seq模型主要基于循环神经网络（RNN），特别是长短期记忆网络（LSTM）和门控循环单元（GRU）。​。
【李宏毅机器学习HW2】
detemination_的博客
10-07 5366
这篇文章是关于李宏毅机器学习2022年版第二次作业的一些想法，记录自己的学习历程，主要参考内容附在文末。HW2作业任务：这次作业来自于语音辨识的一部分，他需要我们根据已有音频材料预测音位，而数据预处理部分是：从原始波形中提取mfcc特征（已经由助教完成了），然后我们则需要以此分类：即使用预先提取的mfcc特征进行帧级音素分类。音位分类预测（Phoneme classification）是通过语音数据，预测音位。
李宏毅《机器学习2022》笔记
weixin_44298961的博客
10-12 2090
李宏毅《机器学习2022spring》笔记
李宏毅2020年机器学习作业4—RNN学习笔记
上海交通大学电院毕业，现互联网大厂开发工程师
05-18 2133
李宏毅2020年机器学习作业4—RNN学习笔记前言一、问题描述二、实现过程2.1 读取数据2.2 词向量处理2.3 数据预处理2.4 定义Dataset2.5 模型定义2.6 训练模型2.7 预测三、优化3.1加入无标签的数据3.2 测试时pytest错误解决方案3.3 self_training方法3.4 去除标点符号 + Bi-LSTM+ Attention四、参考与声明 前言 声明：本文参考了李宏毅机器学习2020年作业例程，基本上是将代码复现了一遍，开发平台是Pycharm社区版2021。 开发环境
李宏毅机器学习第九周Spatial Transformer Layer&simple RNN&HW2
weixin_44162879的博客
09-23 734
本文内容主要包括三个部分。第一部分，Spatial Transformer Layer可以赋予CNN缩放适应性与旋转适应性，该结构通过仿射变换实现对图片或者特征图的缩放、旋转，为了可梯度下降引入了插值法。第二部分，RNN是一种面向序列化数据的神经网络，其通过向网络中添加memory赋予模型序列敏感性。第三部分，调整并修改了的HW2的模型，但限于机器性能仅使用了较为简单的模型以及训练数据，故表现不佳。
李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction
徐子尧的博客
05-14 6923
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第19-21课所做的笔记和自己的理解。Lecture 19: Transfer Learning 迁移学习要解决的问题是：假设现在手上有与task不直接相关的data，这些data能否帮助我们完成task呢？ 比如现在要做猫狗的分
【李宏毅深度学习CP11】Self-attention（part2）
发现问题，并解决问题，批判性思维
08-11 1036
学习总结 文章目录学习总结一、矩阵的角度二、Multi-head Self-attention三、Positional Encoding3.1 No position information in self-attention3.2 Each positon has a unique positional vector eie^iei3.3 Hand-crafted or Learned from data四、Applications4.1 Self-attention for Speech4.2 Self
强化学习与自动驾驶研究内容
hooksten的博客
08-29 3291
https://www.nuscenes.org/2021.7，《华为数据中心自动驾驶网络白皮书》，27页，华为，https://www.chenxiaofang.site/wp-content/uploads/2021/07/%E5%8D%8E%E4%B8%BA%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E7%BD%91%E7%BB%9C%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf。
计算机视觉学习资料汇总（超多干货）
qq_29462849的博客
12-21 4187
前言 本资料首发于公众号【3D视觉工坊】，更多干货请关注公众号后台回复关键字获取~ （一）基础操作 Linux 学习网站 Linux中国：https://linux.cn/ 鸟哥的linux私房菜：http://linux.vbird.org/ Linux公社： https://www.linuxidc.com/ 学习书籍 《鸟哥的Linux私房菜》 《Linux命令行与shell脚本编程大全》 ...
那些精贵的3D视觉系统学习资源总结（附书籍、网址与视频教程）
qq_29462849的博客
12-19 2027
点击上方“3DCVer”，选择“星标”干货第一时间送达之前我们总结了一篇关于3D视觉系统学习路线——《吐血整理|3D视觉系统化学习路线》，本文重点是对于各个模块的一些资料整理，如有不完善...
Python与MySQL网站排名数据分析及多层感知机MLP、机器学习优化策略和地理可视化应用|附AI智能体数据代码
拓端研究室TRL
05-15 646
值得关注的是，项目中开发的「数据清洗-特征工程-模型训练-可视化反馈」闭环框架，已在实际应用中帮助客户提升关键词排名30%以上，验证了技术方案的有效性。通过关联分析热力图（图4）发现：「页面加载速度」与「移动端适配性」呈强正相关（相关系数0.82），而「关键词密度」与「用户跳出率」呈负相关（-0.65）。使用K-means算法，将网站分为「高流量高转化」「低流量高粘性」等4类，为差异化优化提供依据（AI提示词：利用K-means聚类分析网站流量特征，划分用户群体）。
深度学习架构快速入门——卷积神经网络CNN、循环神经网络RNN、生成对抗网络GAN、Transformer以及编码器-解码器
最新发布
yyyyyybw的博客
05-20 534
Transformer模型是一种复杂的语言模型，它通过将文本拆分成更小的部分并分析它们之间的关系来处理文本，该模型可以对各种查询生成连贯且流畅的响应。它通过为输入序列中的每个单词分配一个权重来实现，该权重指示其与当前上下文的相关性，这使得模型能够关注重要单词，并降低不太相关单词的重要性。它们常用于序列到序列的问题，如机器翻译，其目标是将一种语言（源语言）的输入文本转换为另一种语言（目标语言）的对应文本。它通过自注意力机制将文本拆分成更小的部分并分析它们之间的关系，从而能够生成对各种查询的连贯且流畅的响应。
机器学习自然语言处理
yzx991013的博客
05-20 751
早期词向量是静态的，无法处理多义词。词向量是将语言符号（词语）转化为连续稠密向量的技术，核心思想是通过向量表示来反映词语间的语义关联。在实际应用中，词向量为 NLP 任务（如文本分类、机器翻译、命名实体识别等）提供低维、稠密的特征输入，也是预训练模型（如 BERT、GPT）的底层技术支撑。它通过数学空间中的向量表示，捕捉词语的语义和语法信息，有效解决了传统离散表示的 “维数灾难” 和 “语义鸿沟” 问题。资源稀缺语言的词向量质量低，静态词向量难以捕捉新词和领域特定术语，向量空间的语义映射缺乏明确物理意义。
机器学习-人与机器生数据的区分模型测试 -数据筛选
weixin_41870426的博客
05-17 252
内容继续机器学习-人与机器生数据的区分模型测试。
【氮化镓】HfO2钝化优化GaN 器件性能
荷塘阅色
05-15 165
2025年，南洋理工大学的Pradip Dalapati等人在《Applied Surface Science》期刊发表研究，探讨了外延HfO₂钝化层对原位Si₃N₄/AlN/GaN基MIS-HEMTs性能的提升及其在高能X射线辐照下的退化抑制效果。研究通过X射线光电子能谱（XPS）和电学特性测试，发现HfO₂钝化层能有效钝化表面陷阱，显著提高器件的最大漏极电流和峰值跨导，同时降低电流崩溃现象。在X射线辐照后，具有HfO₂钝化层的器件性能退化率明显低于未钝化器件，展现出较好的辐射硬化特性。
机器学习——逻辑回归
2301_80841566的博客
05-17 679
本次实验的目标是通过实现逻辑回归模型，对二分类数据集进行训练和预测，并通过绘制决策边界来直观展示模型的分类效果。数据加载与预处理实现逻辑回归模型的训练（梯度上升法）对测试集进行预测绘制决策边界并评估模型性能。
机器学习-人与机器生数据的区分模型测试-数据处理 - 续
weixin_41870426的博客
05-17 317
这里继续 机器学习-人与机器生数据的区分模型测试-数据处理1的内容。
【动态导通电阻】GaN HEMT动态导通电阻的精确测量
荷塘阅色
05-16 719
2023年7月，瑞士洛桑联邦理工学院的Hongkeng Zhu和Elison Matioli在《IEEE Transactions on Power Electronics》期刊发表文章，提出了一种稳态测量方法，用于研究氮化镓（GaN）高电子迁移率晶体管（HEMT）的动态导通电阻（Ron）。实验结果显示，商业GaN器件在稳态下的动态Ron变化显著，稳定时间可达数分钟且与电压相关。传统的脉冲测量方法由于测试时间不足，可能导致结果不准确。该
李宏毅hw2Hessian Matrix
03-11
### 李宏毅 HW2 中 Hessian Matrix 的计算与应用 在李宏毅机器学习课程中，Hessian Matrix 是一个重要概念，在优化过程中用于分析函数曲率特性。具体来说，Hessian 矩阵 \(H_{ij}\) 表示损失函数 L 关于参数 \(\theta_i\) 和 \(\theta_j\) 的二阶偏导数[^1]。 对于高维空间中的复杂模型而言，直接求解完整的 Hessian 矩阵可能非常困难且耗时。然而，在某些特定情况下（如鞍点检测），仅需关注部分特征值及其对应方向上的行为即可有效解决问题[^3]。 当处理局部极小值或鞍点问题时，可以通过检查 Hessian 矩阵的特征值得到有用的信息。如果存在负特征值，则表明当前点不是全局最优解；此时可以沿着该负特征值所指示的方向调整权重向量 w ，从而逃离次优区域并继续寻优过程。 为了实现这一点，在实际编程实践中通常会采用数值方法近似估计 Hessian 或其逆矩阵，而不是显式构建整个矩阵。例如： ```python import numpy as np def compute_hessian(f, x, epsilon=1e-5): """ 使用有限差分法估算给定点处的目标函数 f(x) 的 Hessian 矩阵 参数: f (callable): 目标函数 x (np.ndarray): 输入变量数组 epsilon (float): 微扰大小，默认为 1e-5 返回: np.ndarray: 近似的 Hessian 矩阵 """ n = len(x) hessian = np.zeros((n,n)) for i in range(n): for j in range(i,n): dx = np.zeros_like(x).astype(float) dy = np.zeros_like(x).astype(float) dx[i],dx[j]=epsilon,0. dy[i],dy[j]=0.,epsilon f_plus_x=f(x+dx)+f(x-dx)-2*f(x) f_plus_y=f(x+dy)+f(x-dy)-2*f(x) if i==j:hessian[i,j]=(f_plus_x/(epsilon**2))[0] else: cross_term=(f(x+dx+dy)+f(x-dx-dy)\ -f(x+dx-dy)-f(x-dx+dy))/(4*epsilon**2) hessian[i,j]=cross_term[0] hessian[j,i]=cross_term[0] return hessian ``` 此代码片段展示了如何利用有限差分法来估算任意可微目标函数在其定义域内的某一点附近的 Hessian 矩阵。这种方法虽然简单易懂，但在面对大规模数据集或者深层神经网络训练场景下可能会遇到性能瓶颈以及精度不足等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值