- 博客(6)
- 收藏
- 关注
RSS订阅原创 Attention is all you need论文深度解析(二)---梯度以及梯度回传
本文通过"蒙眼射箭"的比喻，生动解释了深度学习中的梯度概念和梯度回传机制。梯度相当于裁判的"方向指导"，指向损失函数上升最快的方向；梯度回传则是"责任追溯"过程，通过链式法则将误差信号逐层反向传递。文章特别强调了稳定回传的重要性，指出《Attention is all you need》论文中使用的缩放因子能防止梯度消失或爆炸，确保信号有效传递。最后总结梯度指导参数更新、梯度回传分配误差责任、稳定回传保证信号合理传递的核心思想。
2026-03-05 17:30:01
682
原创 Attention is all you need论文深度解析(一)---整体概述
Attention Is All You Need》这篇 2017 年的论文，我想用“AI 界的牛顿定律”来比喻它。它不是一项修修补补的改进，而是一套全新的“公理”，彻底推翻了之前统治 NLP 领域的 RNN/CNN“旧范式”。从此，现代大型语言模型（LLM）如 GPT、BERT、LLaMA 等，都建立在这套“公理”之上。下面，我将带你从“范式革命”、“核心法则”和“历史回响”三个层面，深度解析这篇奠基之作。
2026-03-03 16:01:38
850
原创 Kafka常用命令实践操作和原理
在成功安装Kafka之后，接下来就让我们来真正的操作实战Kafka，通过实战来掌握Kafka实践操作和原理。我们知道Kafka是一个分布式流式消息处理系统，那么最重要的核心概念就是消息：而在Kafka的实现中，用于存储消息的就是主题(topic)。因此要掌握Kafka，我们首先要熟悉Kafka主题操作以及主题是如何存储消息；以及Kafka将的常用操作和核心概念原理。1.消费主题消息./k...
2019-02-28 23:00:38
290
原创 Java队列/循环队列实现
队列作为基础的数据结构，是程序员员的入门课。也是所有程序员必须掌握的一种数据结构，队列在程序中广泛应用，因此我们应该对队列有深入的了解。队列最主要的性质就是FIFO（First In First Out）先进先出，也就是说最先入队的最先出队，类比我们生活中的排队。也是队列最大的特征。接下来我们通过代码来对队列这种数据结构进行深度解析。 首先下面我们用Java中的List...
2019-02-18 23:54:18
992
1
原创 一、服务发现-基于云应用程序中的服务发现
对于基于云的应用和微服务来说，服务发现至关重要。它为应用团队提供了一种快速对在运行环境中的服务数量进行水平伸缩的能力；其次，它有助于提高应用程序的弹性，减少个别服务不可用时对整个应用造成的损失。对比传统服务发现传统的服务发现通常由DNS和网络负载均衡器的组合来实现服务的发现。这种模型适用于在企业数据中心内部运行的应用程序，以及在一组静态服务器上运行少量的服务情况，但对于基于云的微服务应用程...
2018-11-24 11:25:00
543
原创 二：装饰者模式
在介绍装饰者模式之前，我们先介绍一个非常重要的设计原则：开放-关闭原则，即类应该对扩展开放，对修改关闭；我们的目标是允许类容易扩展，在不修改类的代码情况下，就可以搭配新的行为；满足该原则的设计让我们的代码更具有弹性，可以应对改变，可以接受新的功能来应对需求的改变。装饰者模式的定义： 装饰者模式的设计很好的体现了开闭原则，装饰者是指通过动态组合，动态的将责...
2018-08-10 23:36:08
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人