AI大神李沐回归B站了!

 Datawhale分享 

最新:李沐,来源:量子位

AI大神李沐老师时隔1年多,终于回归B站“填坑”经典论文精读系列了!

没错,最新主角儿还是Llama-3.1:

20811e606e47aba68179c0319fc06832.png

在这个18分钟左右的视频中,李沐老师手把手教我们读Llama-3.1技术论文,甚至还爆料了一些八卦。(指路7分50秒左右)

他提到,Llama团队在训练最大模型时,其实一开始同时训练了MoE模型和稠密模型,但是前者后来失败了,所以最后只发了一个简单版本。

更多细节大家可以去看原视频,悄咪咪透露,李沐老师刚一上线,播放瞬间破万了。

一大批研究僧们正闻风赶来,瞧瞧热一就知道大家的精神状态了:

784589adab4bf05cf58fe3a89a1fe305.png

视频地址领取

李沐Llama3.1论文精读‍‍‍‍

https://www.bilibili.com/video/BV1WM4m1y7Uh/

Datawhale Llama3.1 部署及微调教程(配合李沐论文精读)
https://github.com/datawhalechina/self-llm/tree/master/models/Llama3_1

7e62e5d3e995604dc32ac8a8f29c7364.png

### 关于Softmax回归解 #### Softmax回归作为线性模型的本质 尽管`softmax`本身是一个非线性函数,但在Softmax回归中,最终输出的概率分布是由输入特征经过一次仿射变换后得到的结果所决定。因此,在本质上,Softmax回归仍属于线性模型类别[^1]。 #### 高级API下的简洁实现方式 通过利用现代深度学习框架提供的高级应用程序接口(API),可以更加简便地构建并训练一个Softmax回归模型。相较于手动编码每一个细节部分,这种方法不仅简化了开发流程,还提高了代码可读性和效率。值得注意的是,为了保障数值运算过程中的稳定性和准确性,这些库通常会内置一些优化策略和保护措施,使得开发者无需担心潜在的技术难题[^2]。 #### 实现Softmax操作的具体方法 对于给定的数据矩阵\(X\)而言,可以通过如下Python代码片段来定义一个简单的`softmax()`函数: ```python import torch def softmax(X): X_exp = torch.exp(X) partition = X_exp.sum(1, keepdim=True) # 对每一行求和,并保持维度不变以便后续除法操作 return X_exp / partition # 利用广播机制完成按元素相除 ``` 上述代码实现了将任意实数向量转换成概率形式的功能,其中每个分量代表对应类别的预测可能性大小[^3]。 #### 关于交叉熵损失函数的理解 在多分类任务场景下,常用的一种评估指标就是交叉熵损失(Cross Entropy Loss)。它衡量了真实标签与预测结果之间的差异程度;当两者完全一致时取最小值0,反之则趋向无穷大。借助PyTorch等工具包内的预设组件可以直接调用这一功能模块而不需要自行设计复杂的数学表达式[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值