Elasticsearch：什么是生成式人工智能？

Elastic 中国社区官方博客

墨衍会员 · AI 创作全网分发码龄12年

关注

原创 2023-09-30 19:10:50 5.4k 阅读 AI 写同款· GEO 优化 ›

生成式人工智能定义

给学生的解释（基本）：

生成式人工智能是一种可以创造新的原创内容的技术，例如艺术、音乐、软件代码和写作。当用户输入提示时，人工智能会根据从互联网上现有示例中学到的知识生成响应，通常会产生独特且富有创意的结果。

给开发者的解释（技术）：

生成式人工智能是人工智能的一个分支，以能够生成原始内容的计算机模型为中心。通过利用大型语言模型、神经网络和机器学习的力量，生成式人工智能能够生成模仿人类创造力的新颖内容。这些模型使用大型数据集和深度学习算法进行训练，这些算法可以学习数据中存在的底层结构、关系和模式。结果是基于输入提示的新的、独特的输出，包括图像、视频、代码、音乐、设计、翻译、问答和文本。

生成式人工智能如何运作？

生成式人工智能模型的工作原理是使用受人脑神经元启发的神经网络从现有数据中学习模式和特征。然后，这些模型可以生成与其所学模式相符的新数据。例如，在一组图像上训练的生成式人工智能模型可以创建与训练时相似的新图像。这类似于语言模型如何根据为上下文提供的单词生成广泛的文本。

生成式人工智能利用生成对抗网络 (generative adversarial networks - GAN)、大型语言模型、变分自动编码器模型 (variational autoencoder models - VAE) 和变换器器（transformers）等先进技术来创建跨动态领域的内容。下面解释了有关这些方法的更多细节。

这些模型可以从大型数据集中学习，通过迭代训练过程来完善其输出。该模型分析给定数据内的关系，有效地从提供的示例中获取知识。通过调整参数并最小化所需输出和生成输出之间的差异，生成式人工智能模型可以不断提高生成高质量、上下文相关内容的能力。结果，无论是一首异想天开的诗歌还是聊天机器人客户支持响应，通常与人类生成的内容没有什么区别。

从用户的角度来看，生成式人工智能通常从引导内容生成的初始提示开始，然后是探索和完善变化的迭代过程。

订阅 AI 更新

生成式人工智能模型的类型

生成式人工智能采用各种模型来创建新的原创内容。一些最常见的生成人工智能模型类型包括：

生成对抗网络 (Generative adversarial networks - GAN)：GAN 由两个关键组件组成：生成器和鉴别器。生成器根据从训练数据中学到的模式生成合成数据。鉴别器充当法官，评估生成的数据与真实数据的真实性，并确定其是真是假。训练过程教会生成器产生更真实的输出，而鉴别器则提高区分真实数据和合成数据的能力。 GAN 广泛应用于图像生成，并在创建异常逼真的视觉效果方面展示了令人印象深刻的结果。

变分自动编码器 (Variational autoencoders - VAE)：VAE 是学习编码和解码数据的神经网络。编码器将输入数据压缩为称为潜在空间的低维表示。同时，解码器从潜在空间重建原始数据。 VAE 通过对潜在空间中的采样点并将其解码为有意义的输出来生成新数据。该方法在图像和音频合成中特别有价值，可以操纵潜在表示来产生多样化和创造性的输出。

大型语言模型 (Large Language Models - LLMs)：最常见的 LLM 类型，例如 ChatGPT（Generative Pretrained Transformer - 生成式预训练变换器），是根据大量文本数据进行训练的。这些复杂的语言模型使用来自教科书、网站和社交媒体帖子的知识。他们利用 transformer 架构来理解并根据给定的提示生成连贯的文本。 Transformer 模型是大型语言模型最常见的架构。它们由编码器和解码器组成，通过根据给定提示创建 token 来发现它们之间的关系来处理数据。

本质上，transformer 模型预测单词序列中接下来出现的单词来模拟人类语音。 LLMs 有能力参与现实对话、回答问题并生成创造性的、类人的响应，这使它们成为从聊天机器人、内容创建到翻译等语言相关应用的理想选择。

生成式人工智能有哪些好处？

生成式人工智能在个人和商业层面上都提供了强大的优势。随着技术的发展，其影响只会越来越大。从短期来看，最直接和最显着的好处之一是提高效率和简化工作流程。自动化任务的能力可以为人们和企业节省宝贵的时间、精力和资源。从起草电子邮件到进行预订，生成式人工智能已经在提高效率和生产力。以下是生成式人工智能发挥作用的一些方式：

自动化内容创建使企业和个人能够大规模制作高质量、定制的内容。这已经对各个领域产生了影响，特别是在广告、营销、娱乐和媒体制作方面。
生成式人工智能可以作为艺术家、设计师、作家、建筑师和其他创作者的灵感工具，使他们能够探索新的可能性，产生新的想法，并突破创意工作的界限。通过与生成式人工智能合作，创作者可以达到十一个难以想象的生产力水平，为更多艺术品、文学、新闻、建筑、视频、音乐和时尚铺平道路。
生成式人工智能模型可用于解决需要新解决方案或想法的问题，也可用于分析数据以改进决策。例如，在产品设计中，人工智能驱动的系统可以根据特定的约束和要求生成新的原型或优化现有的设计。研究和开发的实际应用具有潜在的革命性。在几秒钟内总结复杂信息的能力对于解决问题具有广泛的好处。
对于开发人员来说，生成式人工智能可以简化编写、检查、实现和优化代码的过程。
对于面向消费者的企业，生成式人工智能驱动的聊天机器人和虚拟助理可以提供增强的客户支持，减少响应时间和资源负担。

生成式人工智能的挑战和局限性是什么？

虽然生成式人工智能拥有巨大的潜力，但它也面临着一定的挑战和限制。一些关键问题包括：

数据偏差：生成式人工智能模型依赖于它们所训练的数据。如果训练数据包含偏差或限制，这些偏差可以反映在输出中。组织可以通过仔细限制数据来减轻这些风险；他们的模型是根据其需求进行训练或使用定制的专门模型。
伦理考虑：生成式人工智能模型创建真实内容的能力引起了伦理问题，例如它将对人类社会产生的影响，以及其被滥用或操纵的可能性。确保负责任且合乎道德地使用生成式人工智能技术将是一个持续存在的问题。
输出不可靠：众所周知，生成式人工智能和 LLM 模型会产生幻觉反应，当模型无法访问相关信息时，这一问题会加剧。这可能会导致向用户提供听起来真实且自信的错误答案或误导性信息。内容听起来越真实，识别不准确的信息就越困难。
领域特异性：缺乏对特定领域内容的了解是 ChatGPT 等生成式 AI 模型的常见限制。模型可以根据训练的信息（通常是公共互联网数据）生成连贯且与上下文相关的响应，但它们通常无法访问特定领域的数据或提供依赖于独特知识库（例如组织的知识库）的答案。专有软件或内部文档。你可以通过提供对特定于你的域的文档和数据的访问权限来最大限度地减少这些限制。
及时性：模型的新鲜程度取决于其训练数据的新鲜程度。模型可以提供的响应基于“时刻”数据，而不是实时数据。
计算要求：训练和运行大型生成式人工智能模型需要大量的计算资源，包括强大的硬件和大量内存。这些要求可能会增加成本并限制某些应用程序的可访问性和可扩展性。
数据要求：训练大型生成式人工智能模型还需要访问大量数据，这些数据的存储可能非常耗时且成本高昂。
来源问题：生成式人工智能模型并不总是能够识别它们所提取内容的来源，从而引发复杂的版权和归属问题。
缺乏可解释性：生成式人工智能模型通常作为 “黑匣子” 运行，这使得理解其决策过程变得特别困难。缺乏可解释性可能会阻碍信任并限制关键应用程序的采用。

流行的生成式人工智能模型有哪些？

生成式人工智能模型有多种形式，每种都有独特的功能和应用程序 —— 生成式人工智能接口的数量似乎每天都在成倍增加。目前，最流行、最强大的生成式人工智能模型包括：

聊天 GPT

ChatGPT 是 OpenAI 开发的大型语言模型，自 2022 年 11 月公开发布以来取得了巨大成功。它使用对话式聊天界面与用户交互并微调输出。它旨在理解文本提示并生成类似人类的响应，并且它已经展示了进行对话交流、回答相关问题甚至展现幽默感的能力。

据报道，最初的 ChatGPT-3 版本免费提供给用户，并使用来自互联网的超过 45 TB 的文本数据进行了训练。不久之后，微软将一个版本的 GPT 集成到其 Bing 搜索引擎中。 OpenAI 的升级版、基于订阅的 ChatGPT-4 于 2023 年 3 月推出。

ChatGPT 使用尖端的 Transformer 架构。 GPT 代表 “生成式预训练 Transformer”，Transformer 架构彻底改变了自然语言处理 (natural language processing - NLP) 领域。

DALL-E

DALL-E 2 同样来自 OpenAI，专注于生成图像。 DALL-E 将 GAN 架构与变分自动编码器相结合，根据文本提示生成高度详细且富有想象力的视觉结果。通过 DALL-E，用户可以描述他们想要的图像和风格，模型将生成它。与 MidJourney 和新晋 Adobe Firefly 等竞争对手一起，DALL-E 和生成式 AI 正在彻底改变图像创建和编辑的方式。随着整个行业不断涌现的能力，视频、动画和特效也将发生类似的转变。

谷歌 Bard

Bard 最初基于 Google LaMDA 系列大型语言模型的一个版本构建，后来升级到更先进的 PaLM 2，是 Google ChatGPT 的替代品。 Bard 的功能类似，能够编码、解决数学问题、回答问题、写作以及提供 Google 搜索结果。

生成式人工智能用例

尽管该技术相对年轻且发展迅速，但生成式人工智能已经在各种应用和行业中站稳了脚跟。任何需要制作书面材料、代码、设计或图像的组织都将从中受益。用例包括：

技术中的人工智能：生成式人工智能可以通过编写代码和建模试验来帮助加速创建和测试新技术的过程。
政府中的人工智能：国家和地方政府机构正在考虑生成式人工智能如何创造更加个性化、超相关的公共服务、更准确的调查和情报分析、更高的员工生产力、简化选民的数字体验等等。
金融服务中的人工智能：生成式人工智能可用于市场趋势预测、检查市场模式、投资组合优化、欺诈防护、算法交易和个性化客户服务。模型还可以根据历史趋势生成综合数据来协助风险分析和决策。
广告和营销中的人工智能：生成式人工智能为广告和营销活动、社交媒体帖子、产品描述、品牌材料、营销电子邮件、个性化推荐以及许多其他有针对性的营销、追加销售和交叉销售策略提供自动化、低成本的内容。生成式人工智能根据消费者数据和分析生成定制内容，可以提高客户参与度和转化率。它还可以使用数据来预测目标群体对活动的反应，从而帮助进行客户细分。
医疗保健中的人工智能：生成式人工智能模型可以帮助医学图像分析、疾病诊断、识别药物相互作用并加速药物发现，从而节省时间和资源。通过生成合成医疗数据，模型可以帮助扩充有限的数据集并提高诊断系统的准确性。
制造中的人工智能：生成式人工智能可以通过生成增强的设计、识别潜在的产品缺陷和改进质量控制来优化制造流程。通过模拟和生成变化，生成式人工智能模型还可以简化产品开发。
艺术和媒体领域的人工智能：生成式人工智能也许比任何其他领域都更能彻底改变创意领域。它可以帮助艺术家和设计师更快地创作独特的作品，帮助音乐家创作新的旋律，帮助游戏设计师渲染全新的世界，帮助电影制作人生成视觉效果和逼真的动画。电影和媒体公司还能够更经济地制作内容，能够使用原始演员的声音将作品翻译成不同的语言。
电子商务和零售中的人工智能：生成式人工智能可以利用购物者的购买模式推荐新产品并创建更加无缝的购物流程，从而帮助购物者使电子商务更加个性化。对于零售商和电子商务企业来说，人工智能可以创造更好的用户体验，从更直观的浏览到使用聊天机器人和人工智能常见问题解答部分的人工智能客户服务功能。

生成式人工智能的下一步是什么？

生成式人工智能的未来充满希望。随着技术的进步，日益复杂的生成式人工智能模型正在针对各种全球问题。人工智能有潜力通过生成和测试分子解决方案来快速加速药物发现和开发的研究，从而加快研发过程。例如，辉瑞公司在冠状病毒大流行期间使用人工智能进行疫苗试验1。人工智能也是解决许多环境挑战的新兴解决方案。值得注意的是，一些人工智能机器人已经开始协助海洋清洁工作。

生成式人工智能还能够生成超现实、令人惊叹的原创且富有想象力的内容。营销、娱乐、艺术和教育等跨行业的内容将根据个人喜好和要求量身定制，这可能会重新定义创意表达的概念。进步最终可能会导致虚拟现实、游戏和沉浸式讲故事体验中的应用，这些体验与现实几乎无法区分。

在短期内，随着高级功能嵌入到我们日常使用的工具中，从电子邮件平台和电子表格软件到搜索引擎、文字处理器、电子商务市场和日历，生成式人工智能的影响将被最直接地感受到。工作流程将变得更加高效，重复性任务将实现自动化。分析师预计市场所有领域的生产力和效率都会大幅提高。

组织将使用根据自己的数据进行训练的定制生成人工智能解决方案来改善从运营、招聘和培训到供应链、物流、品牌和沟通的各个方面。开发人员将使用它在很短的时间内编写出完美的代码。与之前的许多根本性变革技术一样，生成式人工智能有可能影响我们生活的各个方面。

使用 Elasticsearch 推动生成式 AI 时代

随着越来越多的组织将生成式 AI 集成到其内部和外部运营中，Elastic 设计了 Elasticsearch Relevance Engine™ (ESRE)，为开发人员提供支持基于人工智能的搜索应用程序所需的工具。 ESRE 可以提高搜索相关性并大规模生成嵌入和搜索向量，同时允许企业集成自己转换器（transformer）模型。

我们的相关性引擎是为构建人工智能驱动的搜索应用程序的开发人员量身定制的，其功能包括支持通过 API 集成第三方 transformer 模型，例如生成式 AI 以及 ChatGPT-3 和 ChatGPT-4。 Elastic 在专有数据和生成式 AI 之间架起了一座桥梁，组织可以通过上下文窗口为生成式 AI 提供定制的、特定于业务的上下文。 Elasticsearch 和 ChatGPT 之间的这种协同作用可确保用户收到针对其查询的事实、上下文相关且最新的答案。