3、人工智能中的漂移与注意力机制详解

人工智能中的漂移与注意力机制详解

1. AI 漂移的原因与后果

AI 漂移可能有多种潜在原因。一方面，对大语言模型（LLM）某一领域的改进可能会无意中导致其他领域性能变差。另一方面，当生产数据与训练数据存在实质性差异时，就可能发生模型漂移。在这种情况下，需要对生产数据、训练数据以及预测结果进行监控。

AI 漂移的后果可能十分严重。例如，决策过程容易受到 AI 漂移的影响，可能导致基于错误假设做出决策，进而降低预测和推荐的质量，还会对客户满意度产生不利影响。

2. 机器学习中的漂移概念

在机器学习中，漂移指的是一段时间内分布的任何类型的变化。模型漂移是指模型预测准确性的变化，而数据漂移则是指收集的数据类型的变化（数据漂移也被称为输入漂移、特征漂移或协变量漂移）。

影响数据价值的因素有很多，如准确性、相关性和时效性。例如，销售手机的实体店更有可能销售新款手机而非旧款。数据漂移有时是随着时间推移而发生的，有时则是由于应用程序中与特征相关的变化导致某些数据不再相关。特定数据集中可能有多个因素会影响数据漂移。

处理数据漂移的两种技术是域分类器和黑盒移位检测器，相关信息可参考： https://blog.dataiku.com/towards-reliable-mlops-with-drift-detectors

除了上述漂移类型，数据集中还可能发生其他类型的变化：
- 概念漂移
- 协变量漂