- 博客(18)
- 收藏
- 关注
RSS订阅原创 前向传播和反向传播
在神经网络中，前向传播是指从输入层开始，通过一系列的隐藏层直到输出层的计算过程。前向传播（Forward Propagation）和反向传播（Backward Propagation）是神经网络训练过程中的两个核心步骤，它们服务于不同的目的并在整个训练周期中相互协作。- 反向传播的优势在于其自动化和高效性，通过反向传播，模型能够自动找出导致预测误差最大的参数，并朝着减小误差的方向更新参数，实现了模型的自我学习和优化。- 前向传播的优势在于其直观和明确，能直接生成对输入数据的预测结果，是模型推断的基础。
2024-02-29 10:51:25
472
原创 标量的反向传播
的每个元素与其自身一一对应相乘后求和，然后再将结果乘以2。，表明我们打算对这个张量执行反向传播来计算梯度。首先创建了一个从0到3（包含）的浮点数张量。的标量输出，所以计算的是。
2024-02-27 10:49:34
214
原创 非标量张量的反向传播与雅可比矩阵
在深度学习和自动微分的背景下，当我们处理非标量张量的反向传播时，通常并不直接提及雅可比矩阵，尽管在理论上，雅可比矩阵包含了所有输入与输出之间的偏导数关系。在反向传播过程中，你需要计算的是梯度 `dy/dx`，这其实就是一个 Jacobian 矩阵，其每一行对应 `y` 向量的一个元素关于 `x` 向量每个元素的偏导数。总的来说，虽然雅可比矩阵在理论上描述了非标量函数的梯度信息，但在实际应用中，深度学习框架通常以更加抽象和自动的方式处理非标量张量的反向传播，而无需直接操作雅可比矩阵。
2024-02-27 10:47:00
404
原创 非标量张量的反向传播
模块实现了自动微分机制。在实际操作中，你不必直接构建和操作雅可比矩阵，而是依靠框架的API自动追踪和计算梯度。在某些情况下，你可能希望对非标量损失函数的每个元素独立进行反向传播，这时可以传递一个与损失张量形状相同的梯度张量到。在PyTorch中，处理非标量张量的反向传播确实更为抽象和自动，它通过。
2024-02-27 10:46:23
324
原创 循环神经网络（RNN）在无人驾驶中的应用原理
总结来说，在无人驾驶领域，RNN因其对时序数据的良好建模能力，被广泛用于处理复杂的时空相关问题，从环境中提取有用信息，并在此基础上作出自动驾驶所需的智能决策。- 策略生成：在强化学习框架下，RNN可以作为策略网络的一部分，根据当前状态生成合理的动作（如方向盘角度、油门或刹车力度），形成端到端的驾驶策略。- 视觉信号处理：RNN可以用于分析连续的图像帧序列，捕捉车辆周围场景的变化，比如检测车道线、行人、其他车辆的位置变化等。**具体原理与应用步骤：**
2024-02-26 17:19:46
554
2
原创 LTSM在无人驾驶中的应用
4. **控制优化**：在车辆控制层面，LSTM 可以参与到轨迹跟踪或者车辆运动模型中，通过预测车辆动态响应来优化控制器输出，从而实现更精确的轨迹跟踪和车辆稳定性控制。5. **自适应学习**：在实际路测过程中，无人车可以通过 LSTM 实现在线学习和自适应调整，根据新遇到的道路状况和交通情境不断更新和完善自身的决策逻辑。1. **轨迹预测**：LSTM 可以学习其他车辆或行人的行驶轨迹模式，基于历史轨迹信息预测其未来可能的行为路径，这对于无人车安全决策至关重要。
2024-02-26 17:17:52
451
1
原创 迁移学习与模仿学习的区别
在深度学习领域中，它通常指的是将预训练模型（如在大型数据集上训练好的图像分类器）的部分或全部参数迁移到一个新的、数据有限的任务上，以提高新任务的学习效率和性能。总结来说，迁移学习侧重于知识的跨任务共享和再利用，强调的是模型在不同但相关的环境或任务之间的适应能力；- 应用实例：例如，在计算机视觉中，可以先在一个大规模的图像数据集（如ImageNet）上训练一个卷积神经网络，然后将该网络的前几层特征提取部分应用到新的小数据集的任务（如医学图像诊断），仅针对新任务微调网络的某些层。
2024-02-26 17:16:34
597
1
原创 模仿学习中的域偏移问题
例如，在自动驾驶领域，如果一个模型是基于晴天下的驾驶行为数据训练的，但在雨雪天气下部署时，由于光照、道路状况等条件变化导致输入特征分布发生变化，就可能出现域偏移问题。2. **情境差异**：训练时所遇到的情境与实际运行时面临的情境有所不同，比如训练时机器人是在平坦地面行走，而实际应用时可能需要处理复杂的地形。4. **系统变化**：如果模仿的是真实世界的人类行为，但应用于具有物理限制或动力学特性不同的机器人系统上，也可能发生域偏移。- 数据增强：增加训练集的多样性和代表性，以涵盖更多可能的环境变异性。
2024-02-26 17:16:00
579
1
原创 机器学习分类
在监督学习中，算法基于带有标签的训练数据集学习模型，目的是通过已知结果的数据来预测新数据的结果。- 深度学习是机器学习的一个分支，特别关注多层神经网络（尤其是卷积神经网络CNN、循环神经网络RNN及其变种）的应用，用于解决复杂的模式识别和预测问题。- 迁移学习利用一个任务（源任务）上预训练好的模型，在新的但相关的任务（目标任务）上进行微调或者作为起点，从而加快学习速度和提高性能。- 主动学习是一种学习范式，算法可以主动选择需要被人工标注的数据点，以便更有效地训练模型，减少对标注数据的需求。
2024-02-26 17:14:20
410
1
原创 滚动时间窗口的原理与应用
窗口的长度是一个固定的持续时间（如每5分钟一个窗口），并且一旦窗口关闭（即到达窗口结束时间点），就不会再接收新的数据事件，窗口中的数据被处理后通常会被丢弃或存档。1. **实时监控和警报**：例如，在网络流量监控中，可以使用滚动时间窗口统计每5分钟的请求量，当请求量超过预设阈值时触发警报。3. **趋势分析**：在金融领域，滚动时间窗口可用于计算每分钟、每小时或每天的股票价格变动百分比，从而帮助识别市场趋势。- 当数据事件进入系统时，系统会根据事件发生的时间戳将其分配到相应的窗口内。
2024-02-26 17:12:46
825
1
原创 pytorch中的张量和列表有什么区别
**Python列表**：是一个动态数组，可以包含任意类型的元素（包括不同类型的对象），每个元素都是独立的对象引用，存储在内存中的不一定是连续的块。- **PyTorch张量**：提供了针对CPU和GPU优化的底层实现，支持自动并行计算，可以直接利用GPU资源进行加速计算，大大提升了处理大型多维数据的速度。- **PyTorch张量**：作为PyTorch框架的核心组成部分，支持自动求导机制，能够追踪和计算整个计算图上的梯度，这是构建和训练深度神经网络的关键功能。
2024-02-26 17:10:54
419
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人