- 博客(3)
- 收藏
- 关注
RSS订阅原创 transformer的kv缓存技术学习笔记
decoder有些特殊，它的输入是一个从开始标志符[sos]的新序列，由于每一个时间步生成的token随机，所以encoder-decoder层得到的q输入也随机，而k、v值由于是encoder的输出线性变换而来，所以。在训练阶段，由于mask的作用，模型在依据现有的序列信息，推测下一个单词的任务上经过了大量的训练，它更擅长从有限的信息中掌握序列中每一个单词的特性，如果将每个单词的注意力得分都暴露出来，违背了训练时给模型设定的目标。
2024-09-10 23:16:06
922
原创 UCB：初识强化学习在推荐领域的应用（附推导过程和实例代码
UCB算法是为解决多臂老虎机不确定性衡量问题衍生出来的算法，关于什么是多臂老虎机问题，本文不再赘述，还未了解的同学推荐看下这篇文章。什么是多臂老虎机问题问题介绍多臂老虎机问题 [1]是概率论中一个经典问题,也属于强化学习的范畴.设想,一个赌徒面前有N个老虎机,事先他不知道每台老虎机的真实盈利情况,他如何根据每次玩老虎机的结果来选择下次拉哪台或者是否停止赌博,…
2024-05-30 13:22:42
2284
原创 推荐算法入门：UserCF（一）
无论是以极高新闻刷新频率闻名的今日头条，还是全民短视频软件抖音，它们的成功都离不开一个能让用户沉迷于其中的推荐算法。一个好的推荐算法，能让平台生产的内容精准地发送到每个用户群体的手里，从而加强了平台用户的黏性，从而从用户身上攫取更长久的价值。本篇所涉及到的算法UserCF，全名叫做基于用户的协同过滤（User-Based Collaborative Filtering），这是一个相当传统的推荐算法，可作为入门级推荐算法来学习。
2024-05-25 18:36:39
1025
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人