NLP中常见的分词算法（BPE、WordPiece、Unigram、SentencePiece） 从上面的公式，很容易发现，似然值的变化就是两个子词之间的互信息。简而言之，WordPiece每次选择合并的两个子词，他们具有最大的互信息值，也就是两子词在语言模型上具有较强的关联性，它们经常在语料中以相邻方式同时出现。在训练任务中，如果能对不同的 Subword 进行训练的话，将增加模型的健壮性，能够容忍更多的噪声，而 BPE 的贪心算法无法对随机分布进行学习。我们将一个个的 token（可以理解为小片段）表示向量，我们分词的目的就是尽可能的让这些向量蕴含更多有用的信息，然后把这些向量输入到算法模型中。

阅读 3.0k

23赞

收藏 38
一文了解什么是NLP（自然语言处理） 自然语言处理（NLP）是一种专业分析人类语言的人工智能。接收自然语言，这种语言是通过人类的自然使用演变而来的，我们每天都用它来交流转译自然语言，通常是通过基于概率的算法分析自然语言并输出结果简而言之，这就是一个创建算法的过程。苹果公司的人工智能语音助手 Siri 的工作过程就是自然语言处理在实践中应用的一个鲜活案例。NLP 正在成为我们生活中不可或缺的一部分，其与机器学习、深度学习一起达成的高度远远优于几年前取得的成就。在本文中我们将深入了解NLP是如何应用、如何工作的。

阅读 1.2w

130赞

收藏 117
NLP经典论文研读--xlnet论文研读笔记 xlnet论文阅读笔记

阅读 806

17赞

收藏 19
【Transformer】架构：解锁自然语言处理的无限可能 LLM 就像一个超级“语言大脑”，它能理解、生成、总结、翻译各种人类语言的文本，就像一个超级智能的“文字助手”。🚀 LLM 的核心特点📖 吸收大量知识它是通过学习海量的文本数据（比如书籍、网站、论文）来“理解”人类语言的。训练后，它能像人一样对话、写文章、总结信息。📝 预测下一个单词它的原理其实很简单，就是不断预测下一个最可能出现的单词，就像玩填字游戏一样。例如：输入：「天气真好，我们去……」LLM 预测：「公园散步」「海边游泳」等等。

阅读 1.1k

60赞

收藏 43
NLP信息抽取大总结：两种范式&三大任务&三种方案（带Prompt模板） 1.NLP的信息抽取的本质？2.信息抽取三大任务？3.信息抽取三大范式？范式一：基于自定义规则抽取（2018年前）范式二：基于Bert+下游任务建模抽取（2018年后）范式三：基于大模型+Promt抽取（2022年后）附1：Prompt信息抽取模板（1）实体抽取（2）关系抽取（3）事件抽取（4）三元组抽取附2：中文大模型抽取哪家强？附3：专用于信息抽取的模型2024.11.27典型的，使用自定义词典+分词工具+词性标注完成实体抽取；基于依存句法分析+自定义关系创建规则完成关系抽取。

阅读 4.0k

21赞

收藏 43
一文了解大模型的三种类型 基座模型（base模型）、聊天模型（chat模型）和指令模型（instruct模型）分别是什么？

阅读 9.5k

15赞

收藏 16
【自然语言处理（NLP）实战】LSTM网络实现中文文本情感分析（手把手与教学超详细） 在当今数字化时代，人们在社交媒体、评论平台以及各类在线交流中产生了海量的文本数据。这些数据蕴含着丰富的情感信息，从而成为了深入理解用户态度、市场趋势，甚至社会情绪的宝贵资源。自然语言处理（NLP）的发展为我们提供了强大的工具，使得对文本情感进行分析成为可能。在这个领域中，长短时记忆网络（LSTM）凭借其能够捕捉文本序列中长距离依赖关系的能力，成为了情感分析任务中的一项重要技术。通过详细的步骤和示例代码，深入了解如何处理中文文本数据、构建LSTM模型、进行训练和评估。

阅读 2.0w

136赞

收藏 631
NLP: SBERT介绍及sentence-transformers库的使用 bi-encoder是一种独立编码方式，即输入的两个文本会被分别编码为独立的向量，然后通过计算这两个向量的相似度来判断文本之间的关系。Sentence-BERT(简写SBERT)模型是BERT模型最有趣的变体之一，通过扩展预训练的BERT模型来获得固定长度的句子特征，主要用于句子对分类、计算两个句子之间的相似度任务。三元组网络架构的SBERT模型的任务计算出一个特征，使锚定句和正向句之间的相似度高，锚定句和负向句之间的相似度低。在SBERT中，通过汇聚所有标记的特征来计算整个句子的特征。

阅读 2.3k

21赞

收藏 18
大模型参数规模扩大是趋势 大模型参数规模扩大是趋势，参数规模迈向万亿级。

阅读 2.7k

24赞

收藏 25
ClojureNLP Core 项目教程 ClojureNLP Core 项目教程 core Clojure wrapper for the Stanford CoreNLP Java library 项目地址: https://gitcode.com/gh_mirror...

阅读 757

25赞

收藏 7
学习PyTorch框架、多模态和自然语言处理（NLP）的网站与项目推荐 多模态+NLP 提高代码经验分享（来自grok）

阅读 961

30赞

收藏 32
ChatGLM系列模型 ChatGLM系列算法是清华大学研发的一个开源的、支持中英双语的对话语言模型，基于General Language Model(GLM)架构。采用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。因此在了解对应算法之前需要对GLM架构进行相应的了解。GLM是一个基于自回归的空白填充目标的通用预训练框架。将NLU任务转化为包含任务描述的完形填空问题，可以通过自回归生成的方式来进行回答。所谓自回归空白填充是指在输入文本中随机挖去一些连续的文本片段，然后在模型训练的时候按照任意顺序来重构这些片段。

阅读 2.9k

47赞

收藏 32
Python自然语言处理与机器翻译 机器翻译的应用非常广泛，从简单的在线翻译服务到复杂的多语种商务文档自动翻译，它都扮演着不可或缺的角色。结合语音识别、图像识别等其他AI技术，未来的机器翻译将不仅仅局限于文本，而是能够处理多种形式的信息，实现全方位的语言交流。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。需要注意的是，这里的数据集非常小，实际应用中需要大量高质量的数据才能训练出有效的模型。

阅读 853

24赞

收藏 21
作者推荐
大模型入门教程
换个行业继续深耕，我爱AI，分享人工智能相关技术，现在从事大模型行业，基座大模型微调
关注
AI趋势预见
微信：AI16947 公众号：AI趋势预见
关注
鸡腿爱学习
做大做强做大做强做大做强
关注
AI产品经理
AI产品经理科普｜AI工具干货｜AI技术分享
关注
大模型老炮
大模型微调、大模型训练、大模型应用等等我全都在做！想学大模型知识，就看我！
关注
三谷秋水
计算机视觉、图像视频处理、机器学习（深度学习）、自动驾驶、大模型和具身智体。
关注
AI大模型教程
定时分享许多人工智能的相关知识与趣味运用
关注
人工智能培训咨询叶梓
叶梓，长期负责城市信息化智能平台的建设工作，牵头多个省级、市级智能化信息系统的建设，主持设计并搭建多个行业省级、市级人工智能及大数据平台。提供人工智能相关的培训和咨询
关注
ZhangJiQun&MXP
本人在读博士，研究大模型，数据交易，联邦学习领域 每天帮助你们总结前言论文以及个人遇到问题。 投稿Expert Systems with Applications历时4个月；中科院1区顶刊，本人在科研一线，在文章架构设计，公式编辑，图片美化，语言润色。overleaf编辑方面有一定经验，直接订阅后私信本人可以协助完成投稿返修。https://blog.youkuaiyun.com/qq_38998213/article/details/146232131?sharetype=blogdetail&sharerId=146232131&sharerefer=PC&sharesource=qq_3899821
关注
SmallerFL
到处搞点事情的程序猿； 一起进步，一起学习； 时不时记录，嘿嘿；
关注