《AI大模型开发笔记》NLP基础——1、文本预处理

已于 2024-10-22 23:37:28 修改
阅读量1.8k 收藏 6
点赞数 4
分类专栏： AI大模型开发笔记 文章标签： 自然语言处理 人工智能 机器学习
于 2022-10-04 18:20:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq837993702/article/details/127157842
版权

自然语言处理入门

1、什么是自然语言处理

自然语言处理（Natural Language Processing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域。

2、自然语言处理的发展简史

1950年，计算机科学之父图灵在论文中提出“机器可以思考吗”者一划时代的问题，从此促成了人类语言学与计算机科学的交融。

1957-1970年，自然语言处理领域开始形成“两大阵营”，基于规则和基于统计。

1994-1999年，基于统计的方法逐渐取得胜利，概率计算开始引入到NLP领域的每个任务中。

2000-2008年，机器学习开始兴起，迅速占领了NLP的主流市场。

2015-至今，人工智能时代到来，深度学习技术将深刻改变NLP的未来。

3、自然语言处理的应用场景

语音助手

  • 科大讯飞语音识别技术访谈!
了解本专栏 订阅专栏 解锁全文 超级会员免费看
《AI大模型开发笔记》——基于深度学习的自然语言处理
qq837993702的博客
01-08 3919
Bi-LSTM即双向LSTM, 它没有改变LSTM本身任何的内部结构, 只是将LSTM应用两次且方向不同, 再将两次得到的LSTM结果进行拼接作为最终输出.
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 2884
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
自然语言处理-文本预处理
weixin_38981611的博客
10-12 1177
类似其他的机器学习的数据预处理，自然语言处理也需要进行文本预处理，例如中文需要分词，英文需要词性还原等。 常见预处理方法 文本规范化 大写转小写 output_str = input_str.lower() 数字处理 import re output_str = re.sub(r'\d','',input_str) 标点符号处理 import string ...
NLP：文本预处理总览
皮皮blog
05-30 584
3 对于整个文本，计算所有n-gram序列的平均概率值。如果平均概率值低于某个阈值，则可以将其视为低质量内容。使用n-gram语言模型对文本进行评估，从而过滤掉低质量的内容。2 使用已经训练好的n-gram语言模型对每个n-gram序列进行评分，得到一个概率值。需要注意的是，选择合适的n值和阈值是非常重要的，需要根据具体应用场景进行调整。1 将文本分成n-gram序列，其中n是一个整数。例如，3-gram模型估计4个单词序列的概率，
自然语言处理NLP-文本预处理
最新发布
lihuayong的专栏
03-26 1091
在自然语言处理（NLP）中，文本预处理是构建高效模型的关键步骤。原始文本通常包含噪声和不一致性，直接影响模型性能。通过预处理，可以提取结构化信息、减少计算复杂度，并提升模型对语义的理解能力。
自然语言处理(NLP)之一：文本预处理（文本准备）
热门推荐
xunyishuai5020的博客
01-20 1万+
拿到文本数据后，自然语言处理任务的第一步工作是文本（数据）准备或叫文本（数据）预处理。 文本预处理的流程如下图所示：
动手学深度学习（三十五）——文本预处理（NLP）
Liu Feng's Blog
10-27 3165
文章目录文本预处理(Pre-processing)1. 读取数据集2. 标记化3. 词汇4. 整合上述功能总结 文本预处理(Pre-processing) NLP中自然语言处理离不开对文本数据的预处理操作以方便后期神经网络的训练。 通常文本预处理包含有： 原始数据加载（raw data） 分词（segmentation） 数据清洗（Cleaning） 数据标准化（Normalization）：Stemming / Lemmazation 特征提取（Feature extraction）：tf-idf/wo
NLP之文本预处理与特征工程——最大匹配分词技术(1)
机器学习，深度学习
04-11 1480
1. 什么是分词 根据语境，将句子以字词为单位划分的过程称之为分词。 2. 为什么需要分词 在英文中，单词之间有空格做天然的分割，分词变得非常简单。而汉语的基本单位是字词，字词是理解句子的基本单位。分词是自然语言处理的基础，分词不好，后面很难去做进一步分析。尽管现在NLP中有很多算法以字来切分，比如bert，中文分词仍然是NLP中很重要、很基础的一块工作。 3. 分词工具 目前，已经有许多开源的中文分词工具，比如jieba，hanlp，pkuseg。这些分词工具都能很好地处理好大部分中文语句的分词
人工智能|预训练大模型——全球医疗大模型
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
09-17 3158
谷歌和DeepMind的科研人员在《自然》杂志上发表了一项研究，根据其研究结果，一组临床医生对谷歌和DeepMind团队的医疗大模型Med-PaLM回答的评分高达92.6%，与现实中人类临床医生的水平（92.9%）相当。
【二 自然语言处理基础技术】【 2.1 文本预处理：分词、词性标注、命名实体识别】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-12 36
上周我司程序猿小李突然被女朋友甩了，原因竟是他情人节写了封代码情书——满屏的"tf.keras.layers.LSTM"把妹子看哭了。这让我突然意识到，自然语言处理就像谈恋爱，得先学会怎么"说人话"。今天咱们就掀开AI的围裙，看看它如何处理人类文字的"生肉"，把那些乱七八糟的字符变成香喷喷的"语义料理"。
NLP（二）：中文文本特征处理
wpf的博客
04-11 3280
目录​ 一.基本文本处理技能 暂时先学一下基于词典的方法、基于统计的分词和词、字符频率统计 1.基于词典的方法（字符串匹配，机械分词方法） 1.1正向最大匹配思想MM 1.2逆向最大匹配算法RMM 1.3双向最大匹配法(Bi-directction Matching method,BM) 2.基于统计的分词（无字典分词） 2.1N-gram模型思想 3.词、字符频率统计 3.1...
自然语言处理NLP系列（一）——文本预处理
xionglovexi的博客
01-18 1490
自然语言处理NLP系列（一）——文本预处理 1 英文文本预处理 1.1 个人认为英文文本预处理分两步就可 第一步，将文本中含有的常用标点符号用空格替换掉，这么做的原因是英文中标点和单词之间是没有空格，后面用空格作为分隔符分词的时候就容易造成标点和单词在一起造成单词就不是原来的词了； 第二步，形成停用词表，去除停用词，停用词主要包括语气词，句子连接词等对文本的语义理解作用不大的词汇。 1.2 代码实现 stopwordsFile = "./stopwords" # 构建停用词表 if not os.pat
【NLP】第 4 章：文本预处理、词干提取和词形还原
sikh_0529的博客
09-28 6858
最终，与计算中的许多问题一样，这是一个权衡速度与细节的问题。能够将 10 个单词的句子减少到由多个核心引理组成的五个单词，而不是相似单词的多个变体，这意味着我们需要通过神经网络提供的数据要少得多。如果我们使用词袋表示，我们的语料库将明显更小，因为多个单词都减少到相同的词条，而如果我们计算嵌入表示，则捕获我们单词的真实表示所需的维数会更小减少语料库。为了返回任何给定句子的正确词形还原，我们必须首先执行 POS 标记以获取句子中单词的上下文，然后将其传递给 lemmatizer 以获得句子中每个单词的词元。
NLP - LSTM 文本预测（多分类）
AI工程化、开源分享、文档翻译、代码笔记
02-22 3640
项目说明 代码实现 知识点： 模拟演示 定义网络 构建数据集 定义训练函数 数据准备 训练 模型预测 保存模型
NLP新手入门-第N2周：中文文本分类-Pytorch实现
Oaix的博客
04-28 1017
中文文本分类-Pytorch实现
NLP的特征工程及数据预处理的分类
Lzj000lzj的博客
07-13 418
cleaning 大小写同一 解码 去特殊符号 修剪单词内部的错误符号 tokenizing tokenize N-Grams skip-grams char-grams remove 清除停用词，稀有单词 roots 修剪单词的前几个字符 修正单词回词根 ...
NLP（二十一）根据已有文本LSTM自动生成文本
weixin_30672019的博客
07-16 1184
根据已有文本LSTM自动生成文本 原理 与股票预测类似，用前面的n个字符预测下一个字符 https://www.cnblogs.com/peng8098/p/keras_5.html 代码 from __future__ import print_function import numpy as np import random import sys path = r'shakespeare...
NLP中的文本分析和特征工程
deephub
06-18 5997
语言检测，文本清理，长度测量，情绪分析，命名实体识别，n字频率，词向量，主题建模 前言 在本文中，我将使用NLP和Python解释如何分析文本数据并为机器学习模型提取特征。 NLP(自然语言处理)是人工智能的一个领域，研究计算机和人类语言之间的交互，特别是如何编程计算机来处理和分析大量的自然语言数据。NLP经常被应用于文本数据的分类。文本分类是根据文本数据的内容给文本数据分配类别的问题。文本分类最重要的部分是特征工程:从原始文本数据为机器学习模型创建特征的过程。 在本文中，我将解释分析文本和提取可用于构建
NLP4：训练与预测
天下月色共三分的博客
05-24 398
梯度裁剪 def grad_clipping(net, theta): #@save """裁剪梯度""" if isinstance(net, nn.Module): params = [p for p in net.parameters() if p.requires_grad] else: params = net.params norm = torch.sqrt(sum(torch.sum((p.grad ** 2)) for p i
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Richard_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值