librec nfm实现笔记

本文深入解析了NFM(神经因子分解机)模型的核心原理。NFM通过Bi-InteractionLayer实现特征之间的交互作用,尤其适用于CTR预测等场景。该模型能够有效捕捉到任意两个特征的联合影响,对于理解用户行为具有重要意义。

 

FM

如下图 一般一个场景一共n个特征  xi是其中一个特征  对应到一阶wi为一个数 对应到二阶就是一个特征向量vi 与另一个特征向量vj的内积。向量长度一般称为embedding_size  fm在于刻画任意两个联合特征的影响。

 

 

 

 

NFM 核心部分

Bi-Interaction Layer 就是任意两个k维特征向量做element-wise 乘积然后相加,注意输出是一个k纬度的向量。

举个例子 注意ctr数据集每个样本都能观察到39个field 每个field对于每个样本都映射一个特征,也就是这个模型考察每个样本39个特征联合影响。

 

以下是基于PyTorch实现NFM推荐算法代码,供参考: ``` import torch import torch.nn as nn import torch.nn.functional as F class NFM(nn.Module): def __init__(self, feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob): super().__init__() self.feature_dim = feature_dim self.embedding_dim = embedding_dim self.hidden_dim = hidden_dim self.output_dim = output_dim self.dropout_prob = dropout_prob self.embedding = nn.Embedding(feature_dim, embedding_dim) self.linear1 = nn.Linear(embedding_dim, hidden_dim) self.linear2 = nn.Linear(hidden_dim, output_dim) self.linear3 = nn.Linear(embedding_dim, output_dim) self.dropout = nn.Dropout(dropout_prob) def forward(self, x): # Embedding layer x_emb = self.embedding(x) # Bi-Interaction layer sum_square = torch.sum(x_emb, dim=1) ** 2 square_sum = torch.sum(x_emb ** 2, dim=1) bi_interaction = 0.5 * (sum_square - square_sum) # MLP layer mlp_output = F.relu(self.linear1(self.dropout(bi_interaction))) mlp_output = self.linear2(self.dropout(mlp_output)) # Output layer output = self.linear3(x_emb.mean(dim=1)) + mlp_output return output ``` 其中,`feature_dim`为特征维度,`embedding_dim`为嵌入维度,`hidden_dim`为隐层维度,`output_dim`为输出维度,`dropout_prob`为dropout概率。 在模型的前向传播过程中,首先通过`nn.Embedding`层将输入的离散特征转化为嵌入向量,然后通过Bi-Interaction Layer计算二阶交叉特征,再通过MLP Layer进行非线性变换,最后将MLP输出和原始嵌入向量的平均值相加得到最终输出。 使用时,可以像以下代码一样初始化并训练模型: ``` # 初始化模型 model = NFM(feature_dim, embedding_dim, hidden_dim, output_dim, dropout_prob) # 定义损失函数和优化器 criterion = nn.BCEWithLogitsLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) # 训练模型 for epoch in range(num_epochs): for inputs, targets in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() ``` 其中,`feature_dim`、`embedding_dim`、`hidden_dim`、`output_dim`、`dropout_prob`、`learning_rate`、`num_epochs`等参数需要根据具体情况进行设置,`dataloader`是一个PyTorch的`DataLoader`对象,用于加载训练数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值