gongdiwudu的专栏

​在本系列文章的第一部分中，我们研究了用于执行相似性搜索的 kNN 和倒排文件索引结构。正如我们所了解的，kNN是最直接的方法，而倒置文件索引则在其之上起作用，这表明在速度加速和精度之间进行权衡。然而，这两种方法都不使用可能导致内存问题的数据压缩技术，尤其是在数据集较大且RAM有限的情况下。在本文中，我们将尝试通过查看另一种称为产品量化的方法来解决此问题。​

近五年来，随着 BERT 和 GPT 等思想的引入，我们在自然语言处理领域取得了巨大的成就。在本文中，我们的目标是逐步深入研究改进的细节，并了解它们带来的演变。

本文是“用变压器实现德-英语言翻译”系列的第二篇。它从头开始引入位置编码。然后，它解释了 PyTorch 如何实现位置编码。接下来是变压器实现。

​​​​​​​在LangChain的帮助下创建LLM应用程序可以帮助我们轻松地链接所有内容。LangChain 是一个创新的框架，它正在彻底改变我们开发由语言模型驱动的应用程序的方式。通过结合先进的原则，LangChain正在重新定义通过传统API可以实现的极限。

HEalthcare和生命科学行业产生大量数据，这些数据是由合规性和监管要求，记录保存，研究论文等驱动的。但随着数据量的增加，搜索用于研究目的的必要文件和文章以及数据结构成为一个更加复杂和耗时的过程。

在这篇博文中，我将讨论像BERT，BART和T5这样的大型语言模型。到2020年，LLM领域取得的主要进展包括这些模型的开发。BERT和T5由Google开发，BART由Meta开发。我将根据这些模型的发布日期依次介绍这些模型的详细信息。

​您是否对大型语言模型（LLM）的潜力感兴趣，并渴望创建您的第一个基于LLM的应用程序？或者，也许您是一位经验丰富的开发人员，希望简化工作流程？看看DemoGPT就是您的最佳选择。该工具旨在简化和自动化基于 LLM 的应用程序开发过程，是您开始旅程所需的一切。本博客将指导您了解LLM，DemoGPT的基本知识，以及如何开始使用您的第一个应用程序。​

在计算机视觉时代，卷积神经网络（CNN）几十年来一直是主导范式。直到 2021 年 Vision Transformers (ViTs) 出现，这个领域才开始发生变化。现在，是时候采用受 Transformer 架构启发的基于注意力的模型了，使我们能够有效地适应各种数据集变化。

word2vec 生成一个与语料库中每个单词关联的嵌入向量。这些嵌入的结构使得具有相似特征的单词彼此非常接近。CBOW（连续词袋）和skip-gram模型是与word2vec相关的两个主要架构。给定一个输入单词，skip-gram 将尝试预测输入上下文中的单词，而 CBOW 模型将采用各种单词并尝试预测缺失的单词。

​预先训练的通用语言表示模型有着如此悠久的历史，具有巨大的影响，我们理所当然地认为它们是所有NLP任务的完全100%必要基础。有两个独立的步进函数创新推动了所有NLP任务的准确性：（1）统计语言模型，如Word2Vec和GloVe，以及最近的（2）神经语言模型，如BERT，ELMo和最近的BLOOM。在建模工作流开始时插入预先训练的神经语言模型几乎可以保证提高性能，这种结果在大部分情况成立，但至少有一种情况不同。​

这是一篇少有的吐槽attention机制的文章，文中有许多独特见解，我们这里不论其观点正确与否，能坐下来，静静地倾听，细细地思考，进而启发我们对问题的理解和提高认知水平。

​在使用BERT（1）进行文本分类中，我向您展示了一个BERT如何标记文本的示例。在下面的文章中，让我们更深入地研究是否可以使用 BERT 来预测文本是使用 PyTorch 传达积极还是消极的情绪。首先，我们需要准备数据，以便使用 PyTorch 框架进行分析。​

在NLP的眼见的应用，就是在“当你在谷歌上提出一个问题并立即得到答案时会发生什么？例如，如果我们在谷歌搜索中询问谁是美国总统，我们会得到以下回答：Joe Biden；这是一个搜索问题，同时又是一个QA问答问题，本文将叙述，在Google的搜索引擎种，NLP库hume-face库的部署，可以作为应用参考。

​随着最近开发的库，执行深度学习分析变得更加容易。其中一个库是拥抱脸。Hugging Face是一个平台，可为 NLP 任务（如文本分类、情感分析等）提供预先训练的语言模型。​

BERT通过解决11 +最常见的NLP任务（并且比以前的模型更好）彻底改变了NLP空间，使其成为所有NLP交易的杰克。在本指南中，您将了解BERT是什么，为什么它不同，以及如何开始使用BERT

LangChain 是一个创新的框架，它正在彻底改变我们开发由语言模型驱动的应用程序的方式。通过结合先进的原则，LangChain正在重新定义通过传统API可以实现的极限。此外，LangChain应用程序是代理的，使语言模型能够轻松交互并适应其环境。

​在本文中，我们将参考原始的BERT论文，并查看BERT架构并了解其背后的核心机制。在第一节中，我们将对BERT进行高级概述。之后，我们将逐步深入了解其内部工作流程以及如何在整个模型中传递信息。最后，我们将学习如何微调BERT以解决NLP中的特定问题。​

在我们的日常生活中，无论你是否是数据科学家，你都在单向地使用变压器模型。例如。如果您使用的是 ChatGPT 或 GPT-4 或任何 GPT，那么在为您回答问题的框中是变压器的一部分。如果您是数据科学家或数据分析师，则可能正在使用转换器执行文本分类、令牌分类、问答、Text2text或任何与此相关的任务，您正在使用转换器模型。我们确实为我们的面试学习理论，每个人都这样做，但你有没有想过如何从头开始创建一个变压器模型。

NLP走势如何？这是关于在实践中使用大型语言模型（LLM）的系列文章中的一篇文章。在这里，我将介绍LLM，并介绍使用它们的3个级别。未来的文章将探讨LLM的实际方面，例如如何使用OpenAI的公共API，Hugging Face Transformers Python库，如何微调LLM，以及如何从头开始构建LLM。

变形金刚完全重建了自然语言处理（NLP）的格局。在变形金刚出现之前，由于循环神经网络（RNN），我们的翻译和语言分类很好——它们的语言理解能力有限，导致许多小错误，而且在大块文本上的连贯性几乎是不可能的。

这是一篇 长文 ，几乎讨论了人们需要了解的有关注意力机制的所有信息，包括自我注意、查询、键、值、多头注意力、屏蔽多头注意力和转换器，包括有关 BERT 和 GPT 的一些细节。因此，我将本文分为两部分。在本文中，我将介绍所有注意力块，在下一个故事中，我将深入探讨变压器网络架构。

在尝试自我监督学习时，主要有两种方法：对比学习（CL）和掩模图像建模（MIM）。然而，随着MIM最近受到关注，很多人使用MIM，但他们可能不知道为什么使用它以及何时应该使用它。本文利用ViT对这些点进行分析。本文表明，日益流行的 MIM 并不总是答案，并提供了何时使用以及使用哪种模型的指导。

​在我之前的文章中，我用拥抱面转换器介绍了预训练模型来计算句子之间的余弦相似性分数。在这篇文章中，我们将深入研究变压器模型的参数。句子转换器对象允许我们加载预先训练的模型，我们可以观察模型参数，例如最大序列长度和池化方法。但是这些参数意味着什么，我们如何修改它们以满足我们的需求？这篇文章解决了这些问题，并提供了对这些参数的更深入理解。

在上一篇文章中，我们详细介绍了变压器模型的编码器块的工作原理。如果您还没有读过那篇文章，我建议您在开始这篇文章之前先阅读它，因为本文中介绍了其中涵盖的概念。您可以前往：

文本摘要是为较长的文本文档生成简短、流畅且最重要的是准确摘要的过程。自动文本摘要背后的主要思想是能够从整个集合中找到最重要信息的一小部分，并以人类可读的格式呈现。随着在线文本数据的增长，自动文本摘要方法可能会非常有用，因为可以在短时间内阅读更多有用的信息。

早就想写一篇隐马尔可夫，以及维特比算法的文章；如今找了一篇，基本描述出隐马尔可夫的特点。

本文是“用变压器实现德-英语言翻译”系列的第一篇文章。它引入了小规模的嵌入来建立感知系统。接下来是嵌入层的变压器使用。下面简要概述了每种方法，然后是德语到英语的翻译。

Hugging Face 的变压器库提供了广泛的 API，可用于处理各种 NLP 任务的预训练变压器模型。在本教程中，我们将探讨主要 API 并提供示例来帮助你了解它们的用法。

​在使用BERT（2）进行文本分类时，我们讨论了什么是PyTorch以及如何预处理我们的数据，以便可以使用BERT模型对其进行分析。在这篇文章中，我将向您展示如何训练分类器并对其进行评估。​

这是我们对世界杯推特数据分析的第3部分，我们放弃了。我们将对我们的数据进行情绪分析，以了解人们对卡塔尔世界杯的感受。我将在这里介绍的一个功能强大的工具包是Hugging Face，您可以在其中找到各种模型，任务，数据集，它还为刚开始学习机器学习的人提供课程。在这篇文章中，我们将使用一个情绪分析模型和拥抱面孔令牌来完成我们的任务。

能应用GPT3编程，也成了重要的技能，本文以上是我们应用GPT3的一个范例；期望读者以此为模板，按照套路来走，并制作更多作品。

​DeFINE，是华盛顿大学和艾伦人工智能开发的自然语言处理工具，可以处理的范围是：NLP、语言模型、LM、神经机器翻译、NMT、变压器、变压器-XL等；本文对token-bedding进行生成。​

我已经解释了什么是注意力机制，以及与转换器相关的一些重要关键字和块，例如自我注意、查询、键和值以及多头注意力。在这一部分中，我将解释这些注意力块如何帮助创建转换器网络，注意、自我注意、多头注意、蒙面多头注意力、变形金刚、BERT 和 GPT。

在这篇博文中，我将讨论本世纪最具革命性的论文“注意力是你所需要的一切”（Vaswani et al.）。首先，我将介绍自我注意机制，然后介绍变形金刚的架构细节。

作为人类，我们比这个星球上的任何动物都更了解自然语言的许多细微差别。比如说：“你吃了吗”，“企业吃不饱”，“吃豆腐”，“吃醋了”；同样一个，从一个符号出发，有不同的语义轨迹，让计算机也拥有同样的能力，这就是隐马尔可夫的威力。

在顺序数据处理领域，传统的 Transformer 架构擅长处理短期依赖性，但在需要大量内存和长序列上下文保留的任务中表现不佳。在这篇综合博客中，我打算探索一种新颖的混合方法，将 Transformer 与显式长期记忆模块集成在一起。我们深入研究了这种架构的数学复杂性，研究了它彻底改变各种数据处理任务的潜力。

在这篇文章中，我们将研究Transformer——一种利用注意力来提高模型训练速度的模型。Transformer 在特定任务中的表现优于 Google 神经机器翻译模型。

在在人工智能领域，神经网络已被证明是解决复杂问题的非常强大的工具。多年来，研究人员不断寻求创新方法来提高其性能并扩展其能力。其中一种方法是液体神经网络（LNN）的概念，这是一个利用动态计算功能的迷人框架。

在大型语言模型（LLM）领域，有各种各样的 训练机制，具有不同的手段，要求和目标。由于它们服务于不同的目的，因此重要的是不要将它们相互混淆，并了解它们适用的不同场景。

在本教程中，我们将使用 PyTorch 从头开始构建一个基本的转换器模型。Vaswani等人在论文“注意力是你所需要的一切”中引入的Transformer模型是一种深度学习架构，专为序列到序列任务而设计，例如机器翻译和文本摘要。它基于自我注意机制，已成为许多最先进的自然语言处理模型的基础，如GPT和BERT。