- 博客(5)
- 收藏
- 关注
RSS订阅原创 Transform
self-attention虽然是近十几年出现的方法，但早在上世纪四五十年代，在统计学中，Nadaraya (Nadaraya, 1964)和 Watson (Watson, 1964)提出了Nadaraya-Watson核回归（Nadaraya-Watson kernel regression）是一种非参数回归方法，它使用核函数来对数据进行平滑处理和拟合。通过计算Query与所有Key之间的点积，然后对结果进行缩放（一般会除以一个缩放因子，例如根号下Query的维度），得到注意力分数。
2023-11-04 13:36:58
111
1
原创 基础操作与快捷键
在动手学习Pytorch中，可能需要往d2l文件中添加自定义的新函数，添加保存文件后若在Jupyter Notebook运行时出现函数未定义的错误，是因为在文件中定义新函数后，需要重启Jupyter才可以。
2023-10-25 11:45:22
81
1
原创 深度学习（一）
评估模型靠的是损失函数，平均损失越低，模型越好真实模型一定有损失目标就是使损失尽可能的小，如何使损失最小常见损失函数损失函数图像，横坐标一般是训练轮数深度学习过程中要存盘，以免训练一半程序崩溃可视化工具VisdomMSE：（平均平方误差）
2023-09-25 20:14:16
382
1
原创 视频的收集与抽帧
Yutube网站视频bilibili网站视频下载腾讯视频、爱奇艺等平台.qlv.mp4优点：使用非常简单，且可以一次剪辑出所有需要片段。
2023-04-27 14:57:50
486
原创 Python笔记
数据结构是否可变是否重复是否有序定义符号列表可变可重复有序[]元组不可变可重复有序()字典可变单元格无序集合可变不可重复无序{}
2023-04-26 16:14:58
107
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人