gongdiwudu的专栏

基于自我注意的 transformer 模型由 Vaswani 等人在 2017 年的论文 Attention Is All You Need 中首次提出，并已广泛用于自然语言处理。transformer 模型是 OpenAI 用于创建 ChatGPT 的模型。Transformer 不仅适用于文本，也适用于图像，基本上也适用于任何顺序数据。本文将介绍视觉transformer 模型如何构建。

生成式人工智能中的多人工智能代理主题正在升温，各大科技巨头都围绕它发布了一些框架。但是该选择哪种多人工智能代理框架呢？他们实在太多了！！随着 OpenAI 发布 Swarm 和微软的 Magentic-One，这个领域变得非常混乱。因此，为了消除任何疑问，我将尝试解释每个框架的主要功能、优缺点，让您决定哪个最适合您。我们将讨论

随着 2023 年大型语言模型的大规模兴起，许多“基于对话”的服务应运而生，使用户能够通过自然对话与数据和其他产品进行交互。我们现在处于一个 LLM 改变我们与各种数据和信息交互方式的时代。筛选无尽的搜索结果或解读复杂的用户界面的日子已经一去不复返了；现在，您只需要自然语言就可以开始探索。

作为 Python 和 ML 的初学者，我经常依赖 scikit-learn 完成几乎所有项目。它的简单性和多功能性使实现各种算法成为一种迷人的体验。现在，令人兴奋的是，scikit-learn 通过“Scikit-LLM”引入了 LLM 功能，从而得到了进一步发展。这种集成将 GPT、Vertex、Gemma、Mistral、Llama 等大型语言模型的强大功能带入了 scikit-learn 生态系统，使其成为机器学习爱好者和专业人士更强大的工具。根据该库的文档，“Scikit-LLM 允许您将强大的语

本文对 LSTM 进行了简要介绍。我们先看一下上下文。我们将介绍经典的递归神经网络，以及为什么训练它们是有问题的。随后，Hochreiter 和 Schmidhuber 在他们 1997 年的工作中介绍了长短期记忆网络。我们还将直观地介绍为什么 LSTM 解决了机器学习中传统上存在的循环段梯度消失问题。

因此，如果您是一名想赚点零花钱的学生，或是一名想要谋生的家庭主妇，甚至是一名有兴趣开始兼职的专业人士，那么本文就是为您准备的。今天，我将指导您使用 GenAI 建立被动收入流的 4 种方法。

大型语言模型 (LLM)（例如 OpenAI 的 GPT 和 Anthropic 的 Claude）的兴起，导致企业广泛采用生成式人工智能 (GenAI) 产品。各个行业的组织现在都在利用 GenAI 来简化流程并提高员工效率。

在本文中，我们将探讨这些尖端语言模型如何彻底改变我们与 AI 驱动的聊天机器人的通信方式。我们将深入探讨 GPT-3 和 BERT 的主要特性和功能，并研究它们如何改变对话式 AI 的格局。

​嵌入是真实世界对象的数字表示，机器学习（ML）和人工智能（AI）系统利用它来像人类一样理解复杂的知识领域。例如，计算算法了解 2 和 3 之间的差为 1，这表明与 2 和 100 相比，2 和 3 关系更为密切。但是，真实世界数据包含更复杂的关系。例如，鸟巢和狮穴是相似对，而昼夜是相反词。嵌入将真实世界的对象转换成复杂的数学表示，以捕捉真实世界数据之间的固有属性和关系。整个过程是自动化的，人工智能系统会在训练期间自我创建嵌入，并根据需要使用它们来完成新任务。​

我们大多数人都在使用 OpenAI 的 Ada 002 进行文本嵌入。原因是 OpenAl 构建了一个很好的嵌入模型，它比其他任何人都早得多就易于使用。然而，这是很久以前的事了。看一下 MTEB 排行榜就知道，Ada 远非嵌入文本的最佳选择。

命名实体识别 （NER） 也称为实体分块或实体提取，是自然语言处理 （NLP） 的一个组件，用于识别文本正文中的预定义对象类别。这些类别可以包括但不限于个人姓名、组织、地点、时间表达、数量、医疗代码、货币价值和百分比等。从本质上讲，NER 是获取一串文本（即句子、段落或整个文档）并识别和分类引用每个类别的实体的过程。

注意力机制是深度学习领域的一个突破。它们帮助模型专注于数据的重要部分，并提高语言处理和计算机视觉等任务的理解和性能。这篇文章将深入探讨深度学习中注意力的基础知识，并展示其背后的主要思想。

在今天的博客中，我们将了解 Transformer 的架构。Transformer 通过引入一种通过注意力机制捕获序列内依赖关系的新机制，彻底改变了自然语言处理 (NLP) 领域。让我们分解一下，使用 PyTorch 从头开始​​实现它。

以下是本文重要观点的摘要。阅读它以获取更多详细信息/获取原始源链接。很多 AI 人都想构建像 GPT 4 这样的大型 AI 模型。让我们来谈谈一些技术，这些技术可以让您在不崩溃的情况下扩展您的模型。这些技术将使您能够扩展 AI 模型，在不显着增加成本的情况下提高系统的表达能力

这是我们谈论LLM系列的第二篇文章。在本文中，我们旨在为大型语言模型 （LLM） 的运行方式提供易于理解的解释。

由于其多功能性，神经网络是大多数现代机器学习管道的主要内容。他们处理非结构化数据的能力是一种祝福，因为它让我们能够部分地——部分地——在这里发挥重要作用——用计算规模（更便宜、更容易获得）取代领域洞察力（昂贵且难以获得）。

语言模型，尤其是大型语言模型 （LLM），凭借其理解和生成类人语言的能力，彻底改变了人工智能领域。这些模型不仅能够在零样本设置下或通过定制提示执行各种任务，而且它们的灵活性和多样性也使它们在多个领域中非常有用。

​这是一篇大咖的论文阅读，是Apple 首席工程师Manny Ko分享的精彩论文。这篇文章很大程度上是许多有趣的对话和来回的综合。对于LLM之所以引进复数嵌入，以及如何嵌入有清晰全面的理解，堪称里程碑式的作品。

在快速发展的云计算环境中，高效管理和配置基础设施的能力比以往任何时候都更加重要。HashiCorp 的 Terraform 已成为该领域的游戏规则改变者，它提供了一种基于声明式代码的基础设施管理方法，也称为“基础设施即代码”（IaC）。通过将基础架构编入版本控制配置，Terraform 使开发人员和运营团队能够以无与伦比的精度自动化、重用和管理基础架构。

在快速发展的人工智能和机器学习领域，一项创新因其对我们处理、理解和生成数据的方式产生深远影响而脱颖而出：Transformers。Transformer 彻底改变了自然语言处理 （NLP） 及其他领域，为当今一些最先进的 AI 应用程序提供动力。但究竟什么是变形金刚，它们如何以如此开创性的方式转换数据？本文揭开了 Transformer 模型内部工作的神秘面纱，重点介绍了编码器架构。我们将首先在 Python 中实现 Transformer 编码器，分解其主要组件。然后，我们将可视化 Transfor

人工智能最新阶段的关键发现之一是能够基于相似性搜索来搜索和查找文档。相似性搜索是一种根据信息的含义而不是通过关键字来比较信息的方法。

我们将使用 PyTorch 从头开始构建生成式 AI、大型语言模型——包括嵌入、位置编码、多头自注意、残差连接、层归一化，Baby GPT 是一个探索性项目，旨在逐步构建类似 GPT 的语言模型。在这个项目中，我不会太详细地解释理论，而是主要展示编码部分。该项目从一个简单的 Bigram 模型开始，并逐渐融入了 Transformer 模型架构的高级概念。

​本文是我系列文章的第四篇，涵盖了我在 2023 年 3 月为 WomenWhoCode 数据科学跟踪活动提供的会议。早期的文章在这里：第 1 部分（涵盖 NLP 简介）、第 2 部分（涵盖 NLTK 和 SpaCy 库）、第 3 部分（涵盖文本预处理技术）

LLM的推理过程缺乏透明度，使用户难以理解结论是如何得出的。为了应对这些挑战，已经开发了一种称为检索增强生成（RAG）的技术。RAG 向 LLM 的工作流添加了一个检索步骤，使其能够在响应查询时从其他来源（如您的私人文本文档）查询相关数据。

2016 年由 Facebook 的 AI Research （FAIR） 团队推出的 FastText 已迅速成为自然语言处理 （NLP） 领域的基石。这种创新的词嵌入和文本分类方法以其效率和有效性而著称，特别是对于具有丰富形态特征的语言以及需要在粒度级别上理解句法和语义细微差别的场景。本文深入探讨了 FastText 的起源、技术基础、优势、应用和局限性，全面概述了它对 NLP 的影响。

拼写检查器项目涉及创建一个可以自动检测并纠正给定文本中的拼写错误的程序。此类项目在各种应用程序中非常有用，例如文字处理器、电子邮件客户端和网络浏览器，可确保用户生成的文本没有拼写错误。

Deep Lake 是专门用于深度学习用例的数据湖（数据库），其中原始数据包括图像、视频、音频和其他非结构化数据。然后，原始数据被具体化为深度学习本机传感存储格式，并通过网络流式传输到模型训练。

除了 Transformers 笔记本之外，还有一些示例脚本演示如何使用 PyTorch、TensorFlow 或 JAX/Flax 为任务训练模型。

使用预训练模型有显着的好处。它可以降低计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。这被称为微调，是一种非常强大的训练技术。

在数据集上训练模型之前，需要将其预处理为预期的模型输入格式。无论您的数据是文本、图像还是音频，都需要将它们转换并组装成批量张量。🤗 Transformers 提供了一组预处理类来帮助为模型准备数据

PrivateGPT、 llama.cpp和 GPT4All等项目的流行 强调了在本地（在您自己的设备上）运行 LLM 的需求。   这至少有两个重要的好处：   Privacy：您的数据不会发送给第三方，并且不受商业服务的服务条款的约束   Cost：没有推理费用，这对于代币密集型应用程序很重要（例如，长时间运行的模拟、摘要）

这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。

接下来，我们将看到有关如何使用 HuggingFace 中的 phi-2 进行提示的分步 Python 代码，然后我们将在 veggo 数据集上对其进行微调。我使用 T4 GPU 在 Google Colab 免费层上运行了此代码笔记本。

Python 有一些非常强大的 NLP 库，NLTK — 自然语言工具包 — NLTK 是一个强大的开源库，用于 NLP 的研究和开发。它内置了 50 多个文本语料库和词汇资源。它支持文本标记化、词性标记、词干提取、词形还原、命名实体提取、分割、分类、语义推理。

你有多少次问谷歌一个问题，只是为了得到一个维基百科的链接，需要你点击、加载网站并滚动才能找到答案？那么自动问题搜索又是如何呢？

这里是Hugging Face手册第四部分，如何使用推理管道；即使您没有特定模式的经验或不熟悉模型背后的底层代码，您仍然可以使用它们通过 pipeline ()进行推理！

欢迎阅读我们【文本到上下文 #10】：此为最后一章。以我们之前对 BERT 和迁移学习的讨论为基础，将重点转移到更广阔的视角，包括语言模型的演变和未来，特别是生成式预训练转换器 （GPT） 及其在 NLP 中的重要作用。

关于transformer库的安装环境的说明；因为transformer是一个不小的大型软件，安装的时候对环境还是需要一定规划，一般安装在虚拟环境中，以便与常规软件进行隔离。

在广阔的人工智能领域，自然语言处理 （NLP） 是一个迷人而充满活力的领域。NLP 弥合了计算机和人类语言之间的鸿沟，使机器能够理解、解释和生成类似人类的文本。这项变革性技术具有深远的影响，影响着我们日常生活的各个行业和方方面面。在这篇博文中，我们将探讨关键的 NLP 任务及其多样化的应用，展示语言处理的非凡能力。

欢迎来到我们对不断发展的自然语言处理 （NLP） 领域的探索的第 8 章。在本期中，我们将重点介绍一项重塑 NLP 格局的突破性创新：Transformers。在我们之前对 seq2seq 模型、编码器-解码器框架和注意力机制的讨论之后，我们现在开始了解 Transformer 如何彻底改变语言任务的方法。