李沐动手学习深度学习——3.2练习

已于 2024-02-28 12:10:43 修改
阅读量993 收藏 10
点赞数 14
分类专栏： 动手学习深度学习 文章标签： 学习 深度学习 人工智能
于 2024-02-28 11:22:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45496725/article/details/136339595
版权
文章讨论了从零初始化权重对算法效果的影响，提出自动微分在模型参数学习中的适用性，涉及普朗克定律在温度估计中的应用，以及二阶导数问题的处理方法，squared_loss中的reshape需求，学习率对收敛速度的影响，以及数据迭代中批量大小对样本处理的细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

以下是个人理解，希望进行讨论求解。

练习

1. 如果我们将权重初始化为零，会发生什么。算法仍然有效吗？

在这里插入图片描述
根据SGD算法公式如上，第一次迭代的值可知w只与b相关，而对于b的迭代更新，只是与b的初始值相关，x没有参与迭代的计算过程中，不能够达到收敛的目的。
进行运行可以如下结果：
在这里插入图片描述
在这里插入图片描述

2. 假设试图为电压和电流的关系建立一个模型。自动微分可以用来学习模型的参数吗?

显而易见可行，因为 UR=I，I和U的关系是线性关系。

3. 能基于普朗克定律使用光谱能量密度来确定物体的温度吗？

能基于普朗克定律使用光谱能量密度如下：
在这里插入图片描述

最低0.47元/天 解锁文章
【动手学深度学习】(task1&2&3)注意力机制剖析
发现问题，并解决问题，批判性思维
03-20 2577
自注意力和位置编码 - 在自注意力中，查询、键和值都来自同一组输入。 - 卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。 - 为了使用序列的顺序信息，可以通过在输入表示中添加位置编码，来注入绝对的或相对的位置信息。 ## 6.1 比较卷积神经网络、循环神经网络和自注意力 给定一个由词元组成的输入序列$\mathbf{x}_1, \ldots, \mathbf{x}_n$，其中任意$\mathbf{x}_
李沐动手学习深度学习——4.4练习
weixin_45496725的博客
03-04 1242
模型选择、欠拟合和过拟合
动手学深度学习pytorch版练习解答——3-2线性回归的从零开始实现
qq_43853021的博客
01-18 2637
练习 如果我们将权重初始化为零，会发⽣什么。算法仍然有效吗？ \qquad 解：全0初始化也是常用的一个选择，跟正态分布初始化相比可能会走向不同的局部最优点，算法还是有效的。 假设你是乔治·西蒙·欧姆，试图为电压和电流的关系建⽴⼀个模型。你能使⽤⾃动微分来学习模型的参数吗? \qquad 解：题例中电流当做features，电压当做labels，描点绘图后发现二者呈线性关系，再用书上的代码走一遍即可。 您能基于普朗克定律使⽤光谱能量密度来确定物体的温度吗？ \qquad 解：能量密度频谱u关于波
《动手学深度学习》第二版课后练习题答案——3.2. 线性回归的从零开始实现
Clouds0288的博客
02-02 929
如果我们将权重初始化为零，会发生什么。算法仍然有效吗？假设试图为电压和电流的关系建立一个模型。自动微分可以用来学习模型的参数吗?能基于普朗克定律使用光谱能量密度来确定物体的温度吗？计算二阶导数时可能会遇到什么问题？这些问题可以如何解决？为什么在squared_loss函数中需要使用reshape函数？尝试使用不同的学习率，观察损失函数值下降的快慢。如果样本个数不能被批量大小整除，data_iter函数的行为会有什么变化？
《动手学深度学习》 第3章 线性神经网络 部分笔记
qq_39991776的博客
03-19 1364
《动手学深度学习》第3章，主要记录了个人学习过程中的不懂的知识点和部分练习
动手学深度学习v2课后习题 线性回归的从零开始实现基于pytorch
monica1232的博客
11-27 3569
1.如果我们将权重初始化为零，会发生什么。算法仍然有效吗？ 2.假设你是 乔治·西蒙·欧姆 ，试图为电压和电流的关系建立一个模型。你能使用自动微分来学习模型的参数吗? 3.您能基于 普朗克定律 使用光谱能量密度来确定物体的温度吗？ 4.如果你想计算二阶导数可能会遇到什么问题？你会如何解决这些问题？ 5.为什么在 squared_loss 函数中需要使用 reshape 函数？ 6.尝试使用不同的学习率，观察损失函数值下降的快慢。 7.如果样本个数不能被批量大小整除，data_iter函数的行为会有什么变化？
个人学习笔记2：动手学深度学习pytorch版-李沐
浪子L的博客
09-01 1394
主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
李沐动手学习深度学习——3.4练习
weixin_45496725的博客
02-28 964
softmax回归
动手学深度学习4.9 环境和分布偏移-笔记&练习（PyTorch）
scdifsn的博客
06-05 2691
李沐老师《动手学深度学习（PyTorch版）》4.9 环境和分布偏移-笔记&练习详解
深度学习_线性神经网络
weixin_42754174的博客
06-22 491
深度学习_线性神经网络
chapter_linear-networks：线性回归的从零开始实现
weixin_40934238的博客
05-04 656
线性回归的从零开始实现 🏷sec_linear_scratch 在了解线性回归的关键思想之后，我们可以开始通过代码来动手实现线性回归了。 在这一节中，(我们将从零开始实现整个方法， 包括数据流水线、模型、损失函数和小批量随机梯度下降优化器)。 虽然现代的深度学习框架几乎可以自动化地进行所有这些工作，但从零开始实现可以确保你真正知道自己在做什么。 同时，了解更细致的工作原理将方便我们自定义模型、自定义层或自定义损失函数。 在这一节中，我们将只使用张量和自动求导。 在之后的章节中，我们会充分利用深度学习框架的优
学习笔记-李沐动手学深度学习（二）（08-09、线性回归、优化算法、梯度下降、学习率、Softmax回归、损失函数、图片分类）
ljmiiianng的博客
01-21 2005
说明："""生成 y = Xw + b + 噪声"""num_examples = len(features) # 样本个数indices = list(range(num_examples)) # 样本索引# 这些样本是随即读取的，没有特定的顺序random.shuffle(indices) # 把索引随即打乱。
李沐——动手学深度学习课后作业
immortal5655的博客
01-12 3188
文章目录二、预备知识2.2 数据预处理2.3 线性代数2.3.12.3.22.3.3 二、预备知识 2.2 数据预处理 创建包含更多行和列的原始数据集。 删除缺失值最多的列。 将预处理后的数据集转换为张量格式。 import numpy as np import torch import pandas as pd df=pd.read_excel('D:/pycharmdata/data/2-2.xlsx') df.isnull().sum()#计算每列的缺失值 inputs,outputs = d
pycharm笔记-动手学深度学习（李沐）自动微分课后习题
weixin_46480637的博客
10-26 4733
动手学深度学习课后习题
【深度学习】李沐的深度学习笔记来了！
fengdu78的博客
08-06 847
转载自 |机器之心去年年初，机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程。这门课从3月持续到8月，超过28000人参与了直播，课程回放在 B 站的播放量达到了上百万次。这门课程基于李沐等人编写的《动手学深度学习》第二版。《动手学深度学习》既有开源项目，也有纸质书，它覆盖了90年代至今重要的模型，特别是每一章都是一个Jupyter记事本...
java基础学习(二十)
AbaseZ的博客
06-01 816
在子类中可以根据需要对从父类中继承来的方法进行改造，也称为方法的重置、覆盖。在程序执行时，子类的方法将覆盖父类的方法。
【Python 学习笔记】dictionary unpacking
最新发布
cbldzz的博客
06-03 159
【代码】【Python 学习笔记】dictionary unpacking。
板凳-------Mysql cookbook学习 （九）
fengye207161的博客
05-30 800
在 MySQL 中，CREATE TABLE LIKE 是一种用于创建新表的语法，该新表的结构与现有表完全相同，但不包含源表中的数据1。上述语句将创建一个名为 employees_backup 的新表，其结构与 employees 表完全一致，但不包含任何数据1。此语法会复制 existing_table_name 表的所有列定义、索引以及约束到 new_table_name 表中1。新表结构：仅包含 SELECT 中显式指定的字段，不继承源表的索引和约束（除非手动声明）。一、CREATE TABLE …
CppCon 2014 学习:Defensive Programming Done Right.
虾球
06-02 771
这段摘要讲的是：这个大纲展示了如何从系统设计、接口约定，到实现防御、测试验证，全流程构建健壮、可控、可测的 C++ 组件库。 Physical Design（物理设计） 关注：程序的组织结构和部署方式 包括： 头文件（ / ） 实现文件（） 静态库、动态库（, , ） 表示“我们如何组织代码和构建产物” 示例： 总结对比 特性 Logical Design Physical Design 本质 行为的设计 结构和文件的组织方式 关注点 类、函数、契约 文件、模块、编译边界
李沐动手学深度学习配套：pytorch代码解析
李沐博士在深度学习和自然语言处理领域有着广泛的研究，如果此处提及的李沐正是李沐博士，那么他所著或主导的“动手学深度学习配套”资源想必对初学者非常友好，因为它将理论与实践紧密结合，并且着重于动手实践来...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pengshi12138

加油加油

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值