- 博客(6)
- 收藏
- 关注
RSS订阅原创 一篇文章带你详细了解 Transformer
RNN（循环神经网络）存在长期依赖问题，难以捕捉长序列中的远程依赖，且计算效率低。即使LSTM等改良版也难以解决并行计算问题。Transformer模型则通过自注意力机制，能够并行处理序列，显著提高计算效率，并捕捉长程依赖。Transformer由编码器和解码器构成，每个由多个相同层叠加，使用位置编码保留序列顺序。自注意力机制通过生成查询、键、值向量，计算序列中元素间的关系，输出加权和。模型中的“Add & Normalize”操作，通过残差连接和层归一化提高稳定性。
2024-12-08 14:42:42
836
1
原创 深度确定性策略梯度（DDPG）算法 总结
深度确定性策略梯度（DDPG）是一种强化学习算法，采用确定性策略梯度方法，通过演员-评论家架构优化连续动作空间的策略。演员网络负责根据当前状态输出一个具体动作，评论家网络评估演员的动作效果，并通过价值函数反馈给演员。DDPG结合了经验回放机制，缓解了样本间的相关性问题，促进了算法的收敛。它使用双重神经网络架构来提高学习稳定性，避免“高估”问题。此外，DDPG还通过策略梯度和TD误差更新演员和评论家网络，在智能体与环境交互过程中逐步改进策略和价值函数，从而实现优化。
2024-12-08 13:40:02
1601
原创 【推荐系统】前深度学习时代推荐算法（3）：逻辑回归 （LR）
逻辑回归作为一种基于内容的推荐算法，其基本思想是利用线性模型对用户、物品和上下文特征加权求和，再通过逻辑函数（Sigmoid）将结果映射为概率，用以预测用户交互的可能性（如点击率、购买率）。逻辑回归的流程包括特征向量构建、模型训练和推荐生成，通过梯度下降优化参数。其优势在于数学基础明确、可解释性强且易于工程化，但由于不能处理复杂的特征交叉，存在一定局限性。逻辑回归为融合多种特征的推荐系统奠定了基础，适用于高效预测简单场景中的用户行为。
2024-11-23 23:37:48
1953
原创 【推荐系统】前深度学习时代推荐算法（2）：矩阵分解 （MF）
矩阵分解是对协同过滤的一种改进，通过将用户-物品共现矩阵分解为用户矩阵和物品矩阵，捕捉用户和物品之间的潜在关系。核心思想是利用隐向量的低维表示补全缺失值，从而实现个性化推荐。矩阵分解的流程包括构建交互图、填充缺失值、分解矩阵并优化目标函数。正则化项被引入以防止过拟合，限制特征向量大小，使模型更加稳定。相比协同过滤，矩阵分解具有更强的泛化能力和较低的空间复杂度，但局限于只利用交互数据，难以整合上下文信息，是推荐系统中广泛应用的重要方法。
2024-11-17 16:09:51
2210
原创 【推荐系统】前深度学习时代推荐算法（1）：协同过滤 （CF）
推荐系统可以分为前深度学习时代和深度学习时代两大类。前者包括协同过滤推荐、基于内容的推荐和混合推荐。协同过滤通过用户或物品间的相似性进行推荐，分为基于用户和基于物品两种类型。基于用户的协同过滤计算用户间相似度，推荐相似用户喜欢的物品；而基于物品的协同过滤则计算物品间相似度，推荐与用户已喜欢物品相似的其他物品。协同过滤的主要问题是稀疏性和冷启动，导致冷门物品难以推荐。
2024-11-15 21:35:19
2466
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人