自然语言处理
关注
分享
扫一扫
文章平均质量分 92
这个专栏将提供有关自然语言处理 (NLP) 研究领域的最新进展和见解，包括文本分类、情感分析、语言生成、信息检索等等。（等专栏文章突破50的时候会设置付费订阅，大家感兴趣的可以提前订阅哦）
Chaos_Wang_
趁着我毕业之前的空档期，把自己的一些想法记录下来。
NLP领域练习时长6年的博士练习生【不是博士读了6年哈】，研究方向：NLP【文本预训练、文本分类、命名识别识别、对话生成等】、UGC社区知识管理【知识抽取、需求挖掘、意图识别等】、大模型【RAG、Agent、SFT、RL等】。有读研读博等相关问题的欢迎私信。
校招找工作ing，拿到过多个互联网大厂的top offer，帮助身边多名同学拿到心仪offer，有暑期实习、校招或者算法学习上的问题欢迎私信。
【30min以内可以解决的问题免费，超过30min的得请喝奶茶了哦，毕竟我的时间也很宝贵】
展开
-
VS Code如何使用服务器的Python开发环境
在当今的开发世界中，远程开发已经变得越来越普遍。特别是对于需要大量计算资源或特定配置的项目，使用服务器的开发环境可以大大提高效率。Visual Studio Code（VS Code）是一个功能强大的代码编辑器，支持远程开发。在本文中，我们将探讨如何在VS Code中设置和使用服务器上的Python开发环境。原创 2023-11-15 21:45:19 · 791 阅读 · 0 评论 -
jupyter lab配置列表清单
Jupyter Notebook和Jupyter Lab提供了广泛的配置选项，允许用户根据自己的需求定制运行环境。这些配置项涉及了从日志设置、安全性选项、内核管理，到内容管理等多个方面，每项配置都有其特定的作用和默认值。这个配置文件是Jupyter环境的核心，正确配置这些选项将帮助你创建一个安全、高效、符合个人需求的Jupyter工作环境。根据你的具体使用场景（如教学、数据分析、机器学习等），可能需要调整不同的配置项以获得最佳体验。原创 2023-11-12 21:59:41 · 1068 阅读 · 0 评论 -
保姆级jupyter lab配置清单
本文旨在提供一个全面的Jupyter Lab配置指南，无论你是刚刚开始接触Jupyter Lab，还是希望提高你现有的工作流程，这里都有适合你的内容。从基础配置到高级技巧，从本地安装到远程服务端配置，我们将一步步带你深入Jupyter Lab的世界。此外，本文还将详细介绍如何在Jupyter环境中安装和使用不同的Kernel，包括热门的R语言Kernel，使得你的数据科学项目更加多元和强大。原创 2023-11-12 21:12:35 · 4637 阅读 · 0 评论 -
大模型部署实战（三）——ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。本原创 2023-06-13 22:02:41 · 758 阅读 · 0 评论 -
大模型部署实战（二）——Ziya-BLIP2-14B-Visual
Ziya-Visual多模态大模型基于姜子牙通用大模型V1训练，具有视觉问答和对话能力。今年3月份OpenAI发布具有识图能力的多模态大模型GPT-4，遗憾的是，时至今日绝大部分用户也都还没有拿到GPT-4输入图片的权限，Ziya-Visual参考了Mini-GPT4、LLaVA等优秀的开源实现，补齐了Ziya的识图能力，使中文用户群体可以体验到结合视觉和语言两大模态的大模型的卓越能力。本文主要用于Ziya-LLaMA-13B的本地部署。原创 2023-06-12 21:36:11 · 2354 阅读 · 0 评论 -
使用stable diffusion webui在本地搭建中文的AI绘图模型
最近一段时间大火的AI绘画引起了各界人士的关注，但是stable diffusion开源的都是英文的模型，本文参考封神榜团队开源的太乙模型以及相关代码，利用stable diffusion webui搭建一个中文的AI绘图模型，在本地实现AI绘画。原创 2022-12-07 16:20:10 · 27035 阅读 · 25 评论 -
大模型部署实战（一）——Ziya-LLaMA-13B
Ziya-LLaMA-13B是IDEA基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。本文主要用于Ziya-LLaMA-13B的本地部署。原创 2023-06-09 15:59:06 · 5672 阅读 · 1 评论 -
使用Python处理PDF文件的简介与实践
在现代数字化时代，PDF（Portable Document Format）文件已经成为广泛使用的电子文档格式。无论是在工作中处理文件还是在个人生活中管理文档，我们经常需要对PDF文件进行处理和操作。Python作为一种强大的编程语言，提供了许多工具和库，使得处理PDF文件变得更加简单和高效。本篇博客将介绍如何使用Python处理PDF文件，并展示一些常用的操作和技巧。原创 2023-05-30 23:50:05 · 1425 阅读 · 0 评论 -
主题建模和文本聚类：理论与实践
随着互联网和数字化时代的到来，海量的文本数据变得越来越容易获取。然而，如何从这些文本数据中获取有用的信息是一个非常具有挑战性的问题。主题建模和文本聚类是两个常见的文本挖掘技术，它们可以用于发现文本数据中的主题和模式。本文将介绍主题建模和文本聚类的原理，以及如何使用Python实现。原创 2023-05-07 22:28:22 · 2237 阅读 · 0 评论 -
文本的清洗和标准化：如何处理混乱的数据？
在现代社会，我们每天都处理大量的文本数据。然而，这些数据常常是混乱的、不一致的，包含着各种各样的错误和噪声。如果我们想要从这些数据中提取有用的信息，首先需要进行文本的标准化和清洗。本文将详细介绍文本的标准化和清洗的原理，并结合代码进行讲解，帮助读者更好地理解如何处理混乱的文本数据。原创 2023-05-06 22:42:58 · 3772 阅读 · 0 评论 -
深入了解Hugging Face Transformers库：NLP的转换之力
Hugging Face Transformers库是一个用于自然语言处理（NLP）任务的Python库，提供了各种预训练模型，包括BERT、GPT-2、RoBERTa等。该库是由Hugging Face开发的，旨在提供易于使用和灵活的接口，以便在NLP任务中使用预训练模型。本篇博客将对Hugging Face Transformers库进行详细介绍，包括其原理和代码实现，以帮助您更好地理解和应用该库。原创 2023-04-09 22:28:18 · 628 阅读 · 0 评论 -
Hugging Face中的Accelerate：让训练速度飞起来
Hugging Face是人工智能领域中一个非常受欢迎的开源工具库，提供了许多方便的自然语言处理和深度学习模型，如BERT、GPT-3等。其中，Accelerate是Hugging Face中非常有用的一个工具，它可以大幅提高模型的训练速度。本文将详细介绍Accelerate的原理、用法以及代码实现。原创 2023-04-08 21:12:00 · 5600 阅读 · 1 评论 -
深入了解 Hugging Face 中的生成工具：Generate方法
自然语言生成是自然语言处理领域的一个热门研究方向。Hugging Face 是当前最为流行的自然语言处理库之一，其在自然语言生成领域也提供了一系列实用的工具，以便开发者能够更方便地构建、训练和部署自然语言生成模型。本文将深入介绍 Hugging Face 中的生成工具，涵盖其原理、实现细节以及如何使用这些工具构建自然语言生成模型。原创 2023-04-08 21:12:13 · 4010 阅读 · 0 评论 -
Hugging Face Trainer：一站式深度学习训练解决方案
Hugging Face是一个非常流行的自然语言处理工具库，其中的Trainer类是它的一个重要组件。Trainer类提供了一个一站式的深度学习训练解决方案，使得开发者可以快速构建和训练深度学习模型。本文将对Hugging Face Trainer类进行详细介绍，并结合具体的原理和代码进行讲解。原创 2023-04-07 22:23:25 · 1883 阅读 · 1 评论 -
探究Hugging Face Pipeline类：一站式自然语言处理工具
自然语言处理（Natural Language Processing，NLP）是计算机科学、人工智能、语言学等交叉领域的重要研究方向。在NLP领域，一般会涉及到文本预处理、文本分类、文本生成、机器翻译等一系列任务。然而，这些任务的实现过程中，需要使用到多个工具和技术，对于初学者来说，学习曲线较为陡峭。近年来，Hugging Face公司推出了一款名为Pipeline的一站式自然语言处理工具，大大简化了NLP任务的实现过程，受到了广泛的欢迎。本文将对Hugging Face Pipeline进行详细介绍，并结原创 2023-04-07 22:16:56 · 1215 阅读 · 0 评论 -
深入探究Hugging Face中的BertModel类
自然语言处理（NLP）已成为当今人工智能领域的热点之一。近年来，深度学习技术在NLP中的应用得到了广泛的关注，其中Bert模型作为一种强大的语言表示模型，成为NLP领域的一个重要里程碑。在本篇博客中，我们将深入介绍Hugging Face中的BertModel类，包括其原理、代码实现等方面的详细内容。原创 2023-04-06 22:33:35 · 1703 阅读 · 7 评论 -
从零开始理解Hugging Face中的Tokenization类
在自然语言处理中，将文本转化为数字形式是一个非常重要的步骤。而Hugging Face作为自然语言处理领域中备受推崇的工具包，其中的Tokenization类更是重要的一环。本文将从基础开始，详细讲解Hugging Face中的Tokenization类，包括原理和实现，旨在帮助初学者更好地理解该类的作用和用法。原创 2023-04-06 22:20:55 · 1410 阅读 · 1 评论 -
ChatGPT类模型汇总
当今的自然语言处理领域，基于Transformer架构的大型语言模型（LLM）成为了研究的热点，其中ChatGPT类模型更是备受关注。这类模型以OpenAI GPT系列模型为代表，具有无监督预训练和有监督微调的能力，可以为对话系统、问答系统等任务提供强大的语言生成和理解能力。本篇博客将对当前较为知名的ChatGPT类模型进行汇总，从模型结构、训练数据、微调效果等方面进行比较和介绍，旨在为研究者和开发者提供参考和帮助。原创 2023-04-03 22:43:50 · 5630 阅读 · 0 评论 -
深入理解Transformers库的Pipeline
在自然语言处理领域，Transformers库是一个备受欢迎的工具。这个库提供了各种各样的模型和工具，可以用于许多任务，如文本分类、命名实体识别、问答系统等。其中最为方便的工具之一就是Pipeline。Pipeline是Transformers库的一个高级API，可以轻松地将多个处理步骤（如分词、实体识别、文本分类等）组合成一个管道，从而实现一条指令完成多个自然语言处理任务。在这篇文章中，我们将深入了解Pipeline的原理，并且通过代码演示，展示它的用法和优势。原创 2023-04-02 20:08:52 · 2473 阅读 · 1 评论 -
自然语言处理中的数据预处理：理论与实践
自然语言处理（Natural Language Processing, NLP）是人工智能领域的重要分支之一，其主要任务是让计算机能够理解和处理人类语言。在NLP任务中，数据预处理是至关重要的一步，它对于提高模型的性能和训练效率有着重要的影响。本文将介绍NLP任务中的数据预处理过程，并结合具体的原理和代码进行讲解。原创 2023-04-02 20:03:20 · 2131 阅读 · 0 评论 -
深入理解NLP的多项选择任务
自然语言处理(NLP)是人工智能领域的一个重要分支。在NLP中，多项选择任务是一种常见的任务类型，也是评估NLP算法性能的一种标准任务之一。本篇博客将深入介绍NLP的多项选择任务，包括其原理、应用场景以及代码实现。原创 2023-04-01 23:20:17 · 2378 阅读 · 1 评论 -
深入理解NLP中的文本匹配任务
文本匹配是自然语言处理（NLP）领域中的一项重要任务，它可以用于很多应用，比如信息检索、机器翻译、对话系统等。文本匹配的目的是判断两个文本是否具有一定的相似度或者关系，通常通过计算它们之间的相似度来进行判断。本文将介绍NLP中的文本匹配任务，并结合具体的原理和代码讲解。原创 2023-04-01 23:13:50 · 1030 阅读 · 0 评论 -
情感分析方法发展历程：从词典到深度学习
随着互联网和社交媒体的快速发展，人们在网络上产生了大量的文本数据，这些数据包含着丰富的情感信息。情感分析方法的发展旨在从这些文本数据中提取出情感信息，以便用于社会科学、商业营销、情感监测等领域。本文将介绍情感分析方法的发展历程，并结合代码进行讲解。原创 2023-03-31 23:12:27 · 3305 阅读 · 0 评论 -
选择正确优化器，加速深度学习模型训练
随着深度学习技术的不断发展和应用，深度学习模型的复杂性也在不断增加。因此，模型训练成为深度学习中最为耗时的过程之一。优化器的选择可以对模型训练的效率和准确性产生巨大影响。在本文中，我们将介绍深度学习中常用的优化器以及其原理，并通过代码实现来说明它们的效果和适用范围。原创 2023-03-29 23:42:04 · 1871 阅读 · 0 评论 -
探究Transformer模型中不同的池化技术
Pooling是一种将输入序列映射成固定长度向量的技术。在自然语言处理中，输入序列往往是一个变长的文本，而神经网络需要一个固定长度的向量作为输入。因此，我们需要使用Pooling技术将输入序列进行压缩，得到一个固定长度的向量。常见的Pooling技术有MaxPooling、AveragePooling、GlobalMaxPooling、GlobalAveragePooling等。原创 2023-03-29 23:24:07 · 2677 阅读 · 0 评论 -
深度学习中的学习率设置技巧与实现详解
深度学习中的学习率是一个非常重要的超参数，对模型的训练和结果影响极大。在深度学习模型中，学习率决定了参数更新的步长，因此合理设置学习率对于优化算法的收敛速度、模型的训练效果以及泛化性能都有很大的影响。本文将介绍深度学习中的学习率设置技巧，包括常用的学习率衰减方法、自适应学习率方法以及学习率预热等。原创 2023-03-26 20:51:55 · 4129 阅读 · 3 评论 -
Stochastic Weight Averaging：优化神经网络泛化能力的新思路
Stochastic Weight Averaging的主要思想是在训练神经网络时，通过平均多个模型的权重，从而获得一个更为鲁棒的模型，从而提高模型的泛化能力。这种方法基于模型平均的思想，但在实现上有所不同。SWA的方法与传统的模型平均不同。在传统模型平均中，多个模型是通过将它们的权重进行平均来创建的。但是，SWA是通过在训练过程中平均模型的权重来实现的。这是通过在训练过程中，将模型的权重从初始权重开始平均，直到训练结束，来实现的。原创 2023-03-26 20:12:23 · 965 阅读 · 0 评论 -
提高自然语言处理模型鲁棒性的秘密武器——对抗训练
自然语言处理(Natural Language Processing, NLP)领域是人工智能的热门研究领域之一，它研究如何使用计算机处理自然语言的各种任务，包括文本分类、命名实体识别、语义分析、情感分析等等。随着NLP的发展，对抗训练(Adversarial Training)成为了一个备受关注的研究方向，它通过对抗生成样本的方式，来提高模型的鲁棒性和泛化性能，从而提高NLP模型在实际场景中的可用性和可靠性。本文将详细介绍自然语言处理领域的对抗训练，包括其原理、应用以及代码实现等方面的内容。原创 2023-03-25 22:46:10 · 1340 阅读 · 0 评论 -
如何使用预训练模型提升自然语言处理效果？——语言模型训练技巧
预训练模型已经成为自然语言处理领域的研究热点之一。自然语言处理领域中的预训练技术是指通过在大规模语料库中训练模型，从而使模型能够学习自然语言处理的知识。在本篇博客中，我们将介绍预训练模型的训练技巧，并详细讲解其原理。原创 2023-03-25 22:16:08 · 904 阅读 · 0 评论 -
ChatGPT&文心一言逻辑大比拼（一）
本文的部分问题摘自互联网，主要考察ChatGPT等大模型的逻辑能力，对比的分别是GPT3.5、GPT-4、New Bing、文心一言。总的来说，看似文心一言被完虐，但是也算是能够拿得出手的，估计这波用户体验结束之后会有一个非常大的升级。原创 2023-03-24 18:42:07 · 3492 阅读 · 1 评论 -
LangChain：Prompt Templates介绍及应用
Prompt Templates是一种可复制的生成Prompt的方式，它包含一个文本字符串，可以接受来自终端用户的一组参数并生成Prompt。Prompt Templates可以包含指令、少量示例和一个向语言模型提出的问题。我们可以使用Prompt Templates技术来指导语言模型生成更高质量的文本，从而更好地完成我们的任务。原创 2023-03-20 23:15:43 · 11829 阅读 · 0 评论 -
从Word2Vec到Glove——探究词向量模型的演变
在机器学习和自然语言处理领域，词向量是一种常见的表征文本的方式。在过去几年里，各种词向量模型如雨后春笋般出现。其中，Word2Vec、Glove、FastText等成为了最流行的几种。其中，Glove模型因为其独特的理论基础和良好的性能而受到了广泛的关注。原创 2023-03-18 11:33:54 · 1033 阅读 · 0 评论 -
FastText：高效的文本分类工具
随着大数据时代的到来，文本分类成为了自然语言处理领域中最重要的任务之一。文本分类可以帮助我们自动将大量文本分为不同的类别，从而加快信息的处理和理解。FastText是Facebook AI Research团队开发的一个高效的文本分类工具，它能够在处理大规模文本数据时快速训练模型。在本篇博客中，我们将介绍FastText模型的原理、优缺点以及如何使用FastText模型来进行文本分类任务。原创 2023-03-18 11:32:07 · 3534 阅读 · 0 评论 -
自然语言处理数据增强魔法书：轻松解锁NLP技巧与方法
随着人工智能技术的快速发展，自然语言处理（Natural Language Processing，NLP）已经成为了重要的研究领域之一。然而，NLP面临的一个主要挑战是数据稀缺性。在许多情况下，NLP算法需要大量的数据来训练，以获得高精度的结果。但是，由于获取大量的真实数据是非常昂贵和困难的，因此需要利用数据增强技术来扩充数据集的规模，从而提高模型的效果。本篇博客将介绍一些常见的自然语言处理数据增强方法，并提供实践案例。原创 2023-03-17 21:21:43 · 1813 阅读 · 1 评论 -
中文ChatGPT平替——ChatGLM：全新对话模型内测，手把手调教开源单卡版本
ChatGLM是一个具备问答和对话功能的语言模型，目前处于内测阶段，已经开启邀请制，并且将逐步扩大内测范围。此外，ChatGLM也已经开源了最新的中英双语对话模型ChatGLM-6B，结合模型量化技术，用户可以在消费级显卡上进行本地部署。ChatGLM-6B共经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，模型参数达到了62亿。虽然规模不及千亿模型，但是ChatGLM-6B已经能够生成相当符合人类偏好的回答，大大降低了用户部署的门槛。原创 2023-03-15 08:34:40 · 18340 阅读 · 2 评论 -
GPT-3.5平替强势来袭——Alpaca: A Strong Open-Source Instruction-Following Model
文章介绍了一款名为Alpaca的指令跟随模型，该模型基于Meta的LLaMA 7B模型进行微调，并使用OpenAI的text-davinci-003生成的52K个指令跟随演示进行训练。作者提供了该模型的训练配方和数据，并计划在未来公开模型权重。作者进行了初步的人类评估，并将互动演示用于展示该模型的能力和局限性。文章还强调，Alpaca仅用于学术研究，商业用途被禁止。本文将以读者视角介绍Alpaca的原理、训练过程、评估结果以及局限性，并讨论指令跟随模型的潜在应用和未来发展方向。原创 2023-03-14 19:36:39 · 1161 阅读 · 0 评论 -
从BERT到ROBERTA：预训练语言模型的优化之路
自从深度学习在自然语言处理领域得到广泛应用以来，Transformer模型一直是自然语言处理的重要研究方向。2017年，谷歌推出了Transformer模型的创新之作——BERT，在自然语言处理领域引起了极大的关注。2020年，Facebook AI Research推出了ROBERTA模型，它在BERT的基础上做了一些改进，取得了更好的效果。本文将详细介绍ROBERTA模型的原理、优势和劣势，并通过案例和代码的方式帮助读者深入理解。原创 2023-03-14 13:57:54 · 2506 阅读 · 0 评论 -
T5模型：打破Few-shot Learning的次元壁垒
自然语言处理（NLP）是一种用于理解人类语言的计算机科学领域。在过去的几年中，随着深度学习技术的发展，NLP领域也取得了突破性进展。在众多的NLP模型中，T5模型作为一种强大的语言生成模型，在自然语言理解、翻译和问答等任务中表现出色，成为了该领域的研究热点之一。本文将介绍T5模型的原理和优势，并结合案例和代码进行说明。原创 2023-03-13 22:01:03 · 3617 阅读 · 0 评论 -
ChatGPT原理剖析：InstructGPT详解
在许多应用中，人们需要GPT-3模型完成一些特定的任务，传统的方法是通过人工标注数据集来训练模型，在特定任务上进行微调。然而，这种方法需要大量的人力和时间，并且可能存在标注数据集的不准确性。为了解决这些问题，OpenAI提出了InstructGPT模型。InstructGPT的原理是利用人类的反馈对语言模型进行微调，使其更能符合用户的意图和指示。通过指令-回答对的数据集和指令-评价对的数据集，InstructGPT可以学习如何根据不同的指令生成更有用、更真实、更友好的输出。原创 2023-03-13 20:58:04 · 2824 阅读 · 0 评论 -
从GPT到GPT-3：自然语言处理领域的prompt方法
自然语言处理（NLP）是一项正在快速发展的技术，旨在使计算机能够更好地理解人类的自然语言。Prompt方法是一种新兴的NLP技术，其在许多自然语言处理任务中显示出了出色的性能。本文将介绍Prompt方法的原理、优势、劣势以及相关代码和案例，并探讨该技术在未来的发展前景。Prompt方法是一种基于语言提示（language prompting）的方法，其原理是通过向计算机提供一个提示或问题，使其能够更好地理解文本。具体而言，Prompt方法通过在自然语言处理任务的输入中添加一些自然语言的提示信息辅助计算。原创 2023-03-12 23:01:30 · 3125 阅读 · 0 评论