AIGC: 关于ChatGPT中对输出文本进行审核

违禁词 与 logit_bias 参数

• 前文，通过GPT的API实现了一个简单的聊天机器人, 当然也可以做一些内容审核相关的应用
• 这里有一个非常核心，需要重点关注的一个方向，就是对于文本的审核
  • 对于一些违禁词，我们需要准确的识别出来，避免出现
• 对于我们构建的 Prompt，其实还比较简单，那么可以通过字符串匹配的方式去进行处理
• 对于GPT它返回的结果，我们怎样去进行控制，怎样避免 GPT 生成一些违禁词？
  • 其实GPT它的API参数, 有一些特殊的
  • 比如: presence_penalty，就是如果一个token在前面的内容已经出现过了
    • 在后面生成的时候，会给它的概率去进行一定的惩罚
    • GPT就会倾向于去聊新的话题和新的内容
  • 再比如，frequency_penalty 是指对于重复出现的token去进行概率惩罚
    • 这样AI就会尽量使用不同的表述，如果我们设置成最小的值, 可能对于我们的每次的答案, GPT的回答可能是一样的
  • 无论 temperature 或者是上面的两个参数，作为一个简单的参数控制着GPT生成相关token的一些概率
  • 但是却没有办法帮助我们精确的去控制哪些词，我们不想它出现