5、深度学习新趋势与大语言模型发展

深度学习新趋势与大语言模型发展

1. 零样本与少样本学习

零样本学习是指在没有来自某类别的任何标记示例的情况下识别新对象或概念的技术。而少样本学习则是利用少量标记示例（通常每类 1 到 10 个示例）来识别新对象或概念。

2. 神经符号人工智能

神经符号人工智能是人工智能领域的一种新兴方法，它整合了符号和神经人工智能模型的优势。

2.1 发展历程

• 第一代人工智能是符号人工智能，它使用基于逻辑和规则的系统来对世界进行推理，但难以处理不确定性和现实世界数据的复杂性。
• 第二代人工智能是神经网络，基于从数据中学习的理念，在图像和语音识别等领域取得了成功，但缺乏可解释性和可理解性。
• 第三代人工智能即神经符号人工智能，旨在通过结合符号和神经人工智能模型的优势来克服上述局限。

2.2 优势

该方法的符号部分能够对抽象概念进行推理，并根据逻辑规则做出决策；神经部分则具备从数据中学习和处理不确定性的能力。神经符号人工智能有望在自然语言处理、机器人技术和科学发现等多个人工智能领域引发变革，打造出更智能、灵活且推理过程可解释的系统。

3. 二值化神经网络

网络压缩技术催生了二值化神经网络（BNNs），其中权重和激活值用单个比特表示。这使得通常昂贵的权重与激活值之间的乘积累加（MAC）操作可简化为低复杂度的按位异或非（XNOR） - 位计数操作。因此，BNNs 具有功耗高效、计算速度快以及节省内存的优点，成为传统卷积神经网络（CNNs）的一种替代方案。在运行时，二进制神经网络的权重和激活值为二进