- 博客(67)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 12.7周报
本周继续学习尚硅谷深度学习教程，学习内容是代码实现一个简单的三层神经网络，使用代码简单实现手写数字识别的模型（不包括训练），以及损失函数相关公式及适用场景和特性，导数，偏导数，梯度相关定义及代码实现相关的计算。Abstract。
2025-12-07 18:14:49
707
原创 pytorch深度学习笔记6
本篇文章继续学习尚硅谷深度学习教程，学习内容是导数，偏导数，梯度相关定义及代码实现相关的计算。导数和数值微分损失函数的值越小，代表我们选取的参数越适合；想要求得损失函数的最小值，最基本的想法就是对函数求导，解出导数值为0的点，并判断它是否为极小值/最小值。导数在数学上，导数被定义为这个定义中表达出了导数的本质。当x发生一个微小的变化h（或者Δx）时，函数值f(x)也会发生变化；当h趋近于0时，此时f(x)的“变化率”就是x这一点的导数值。利用这个定义，
2025-12-05 14:54:27
352
原创 pytorch深度学习笔记
本周学习尚硅谷深度学习教程，学习内容是激活函数的代码部分包括阶跃函数，sigmod函数，tanh函数，ReLu函数，softmax函数。
2025-11-30 18:33:17
540
原创 pytorch深度学习笔记1
本篇文章学习尚硅谷深度学习教程，学习内容是激活函数的代码部分包括阶跃函数，sigmod函数，tanh函数，ReLu函数。
2025-11-28 22:14:49
259
原创 pytorch环境配置
本周对pytorch进行环境配置，包括下载安装配置环境变量，判断是否成功配置，以及在pycharm中测试使用。（1） 什么是Anaconda？1、 Anaconda是一个开源的数据科学平台，它集成了多个数据科学、机器学习、数据处理和可视化的工具和库。2、 Anaconda提供了一个高效的包管理器conda，可以便捷地安装和管理PyTorch及其相关的依赖库。Anaconda并不是Pytorch的一部分，但它是管理和安装Pytorch及其依赖项的强大工具。（2） 什么是Pytorch？
2025-11-20 14:09:14
853
原创 周报11.16
本周继续学习李宏毅老师2025春季机器学习课程，学习内容是meta learning与machine learning的差异，meta learning寻找初始参数的方法以及meta learning可训练的参数，如optimizer相关的参数，network架构相关的参数，并下载transform相关工具包需要的资源。machine learning是找到一个函数f，可能是一个classify，给他一张图片，可以得出分类结果。
2025-11-16 18:52:10
691
原创 李宏毅机器学习笔记45
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是meta learning可训练的参数，如optimizer相关的参数，network架构相关的参数。
2025-11-12 15:23:44
445
原创 李宏毅机器学习笔记44
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是meta learning与machine learning的差异，以及meta learning寻找初始参数的方法。
2025-11-10 13:54:54
721
原创 李宏毅机器学习笔记42
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是life long learning的三种解决办法，分别为selective synaptic plasticity，additional neural resource allocation，memory reply。
2025-11-07 15:47:37
709
原创 李宏毅机器学习笔记41
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是life long learning问题的难点，以及评估life long learning好坏的方法。
2025-11-06 17:08:22
912
原创 李宏毅机器学习笔记40
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是network compression的三个方法，分别是parameter quantization，architecture design，dynamic computation。
2025-11-05 15:35:08
871
原创 李宏毅机器学习笔记39
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是network compression的两个方法，分别是network pruning和knowledge distillation很多时候，模型的使用是受到环境的资源限制的，例如在智能手表上等，如果模型过大，可能无法在手表上运行。network compression就是将模型简化，减少参数但是效果与原来差不多。
2025-11-03 15:07:43
817
原创 李宏毅机器学习笔记33-38
本周继续学习李宏毅老师2025春季机器学习课程，学习内容是adversarial attack的相关概念以及进行白盒，黑盒攻击的相关原理及方法；domain shift问题的概念以及部分解决办法domain adversarial training；Deep reinforcement Learning相关基本概念，训练的过程及如何控制actor的行为，policy gradient中评价A的定义及计算方法和需要注意的问题以及exploration的概念；
2025-11-02 17:08:25
943
原创 李宏毅机器学习笔记38
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是RL中的reward shaping和inverse reinforcement learning(IRL)的基本概念及相关知识。
2025-11-01 14:48:47
728
原创 李宏毅机器学习笔记37
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是RL中的Critic，包括critic的基本概念，两种训练方法和差异，如何应用在actor上以及应用在actor后计算方式。
2025-10-31 14:04:04
707
原创 李宏毅机器学习笔记36
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是policy gradient中评价A的定义及计算方法，训练过程中需要注意的问题和exploration的概念。
2025-10-30 15:39:55
318
原创 李宏毅机器学习笔记35
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是Deep reinforcement Learning相关基本概念，训练的过程及如何控制actor的行为。
2025-10-29 17:20:54
1291
原创 李宏毅机器学习笔记34
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是domain shift问题的概念以及部分解决办法domain adversarial training。
2025-10-28 14:00:43
933
原创 李宏毅机器学习笔记33
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是adversarial attack的相关概念以及进行白盒，黑盒攻击的相关原理及方法。
2025-10-27 17:32:25
1060
原创 李宏毅机器学习笔记32
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是explainable machine learning如何处理输入，以及简单了解explainable machine learning分类中的global explanation。
2025-10-25 15:55:47
1080
原创 李宏毅机器学习笔记31
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是explainable machine learning的重要性，以及explainable machine learning分类中的local explanation及基本判断方法。
2025-10-24 19:17:09
776
原创 李宏毅机器学习笔记30
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是auto-encoder相关概念及运作流程和auto-encoder的优势，简单了解了de-nosing auto-encoder并与BERT进行对比。
2025-10-23 16:10:46
807
1
原创 李宏毅机器学习笔记29
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是self-supervised learning在语音和影像上应用的方法，包括Predictive Approach，Contrastive learning，Bootstrapping Approache。
2025-10-22 16:56:17
989
原创 李宏毅机器学习笔记28
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是self-supervised learning在语音上和在文字上，其实大多框架没有什么大的不同。我们可以有一个语音版的BERT，一样是通过大量没有标注的声音讯号训练出来的。语音版的BERT做的事情是，给他听一段声音讯号，他会把这段声音讯号变成一排向量。假设做的是语音辨识，我们要把声音讯号转写为文字，我们需要收集一些标注的声音讯号，就可以训练一个语音辨识的模型，把BERT的输出变成文字。
2025-10-21 18:21:01
957
原创 李宏毅机器学习笔记27
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是self-supervised learning GPT系列相关概念及self-supervised learning的其他应用self-supervised learning除了BERT，还有GPT系列。BERT做的事情是填空题，GPT做的是预测接下来要出现的token是什么。而GPT的模型架构有点像transformer的decoder。
2025-10-20 22:04:38
823
原创 李宏毅机器学习笔记26
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是BERT作用的原理以及Mulit-lingual BERT。
2025-10-20 03:03:48
461
原创 李宏毅机器学习笔记21-26周汇总
本周继续学习李宏毅老师2025春季机器学习课程，学习内容是Transformer相关概念及其基本架构，同时从代码层面帮助理解Transformer原理，以及自监督学习机制和BERT相关基本概念，运作原理和作用。BERT。
2025-10-19 20:58:51
487
原创 李宏毅机器学习笔记25
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是Self-supervised Learning的基础概念以及BERT训练方式和BERT用在下游任务的例子。
2025-10-17 22:08:06
968
原创 李宏毅机器学习笔记24
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是transformer的代码部分，通过代码帮助理解transformer。
2025-10-16 22:09:38
447
原创 李宏毅机器学习笔记23
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是之前学习了encoder和decoder的结构及运行过程，接下来将要学习是他们中间是如何传递资讯的。也就是之前学习decoder时，去除的部分。这一块叫做cross attention，它有两个输入来自encoder它的实际运作过程如下：encoder这边输入一排向量输出一排向量a，通过a与不同的矩阵相乘得到向量k和v，decoder这边收到begin信号产生一个向量，这个向量乘上一个矩阵得到q，之后用k，q计算他们的分数。
2025-10-15 21:00:00
802
原创 李宏毅机器学习笔记22
本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是Transformer中decoder的基本架构，主要学习Decoder-Autoregressive(AT)的基本运作过程，以及Decoder-Non-Autoregressive(NAT)与Decoder-Autoregressive(AT)的差异。
2025-10-14 22:05:21
970
空空如也
for循环初始化无效？
2021-12-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人