4、生成式AI与大语言模型：原理、应用与评估

生成式AI与大语言模型：原理、应用与评估

1. 生成式AI与大语言模型概述

使用AI辅助编程工具，并不要求你成为生成式AI技术细节的专家。不过，对该技术有一个宏观的了解会很有帮助，这样能更敏锐地评估这些工具的响应、能力和局限性。透明度在新技术的普及中至关重要，在编码领域，可靠性和可问责性是关键。

2. 生成式AI的发展历程

生成式AI的历史可追溯到几十年前，最早的例子之一是20世纪60年代中期，麻省理工学院教授约瑟夫·魏泽鲍姆创建的ELIZA聊天机器人。它能模仿与心理治疗师的对话，但基于规则算法，主要是重复用户输入。很多人觉得和ELIZA聊天比和真正的治疗师交流更愉快，甚至有人误以为在和人类交流，这种现象被称为“ELIZA效应”。

在2010年代之前，生成式AI的发展进展缓慢。但随着计算能力提升、GPU等硬件系统出现、大量数据积累以及深度学习等复杂模型的优化，生成式AI进入了快速发展阶段，并出现了以下方法：
- 变分自编码器（VAEs） ：2013年由迪德里克·P·金马和马克斯·韦林提出。VAE模型能从高维数据中提取低维潜在空间，无需监督，还包含编码器 - 解码器结构。高维数据有很多特征，每个特征是一个维度，如28×28像素的图像处于784维空间。低维潜在空间是数据的紧凑版本，保留关键信息并减少维度，有助于减轻计算负担、避免维度灾难，使数据更易可视化和解释。与传统自编码器不同，VAE的编码器给出概率分布，解码器从该分布中采样重建数据，这为创建新数据或图像提供了可能。
- 生成对抗网络（GANs） ：2014年由伊恩·古德费洛等人引入，是无监督机器学习中的一类AI