33、基于Transformer的推荐系统与应用拓展

基于Transformer的推荐系统与应用拓展

内容过滤与Transformer推荐系统引入

内容过滤是保障信息安全的重要环节。通过特定代码，我们可以获取内容的可接受程度。代码如下：

r = (response["choices"][0])
print("Content filter level:", r["text"])

内容过滤会返回三种值：
- 0 – 安全
- 1 – 敏感
- 2 – 不安全

不过，仅依靠内容过滤可能不够，还可添加规则库、字典等算法来控制和过滤输入输出内容。

接下来，我们将构建基于Transformer的推荐系统。Transformer模型擅长学习序列，语言序列、消费者行为、图像和声音等都能以序列形式呈现。

通用序列的定义与表示

许多活动可由实体及其之间的链接构成序列。例如，YouTube上的视频、医生的诊断决策、消费者的购买行为等。我们用六个字母定义实体：E={A,B,C,D,E,F}。

当表达特定含义时，序列需遵循一定规则。如“A = “I”，E = “eat”，D = “candy””，正确的序列是 “I eat candy”，对应的规则链接为：
- A->E (I eat)
- E->D (eat candy)

通过观察行为、机器学习数据集或听取专家意见，我们能自动推断各领域的规则。假设观察一位YouTube用户数月，发现其观看视频有特定规律，行为规则X(P)={AE,BD,BF,C,