西湖大学自然语言处理（六）—— 语言模型

已于 2022-03-29 10:07:37 修改
阅读量643 收藏 1
点赞数 1
分类专栏： 自然语言处理学习 文章标签： 深度学习 自然语言处理 人工智能
于 2022-03-28 16:50:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45645521/article/details/123798281
版权

西湖大学自然语言处理（六）—— 语言模型

语言模型

语言模型(LM)通过更简单的模式来度量自然语言句子的概率
在这里插入图片描述
在这里插入图片描述

一元语言模型

估算每个词在语料库中的概率，以此来获得一句话的概率
在这里插入图片描述
存在问题及解决方法：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二元语言模型

Unigram语言模型在比较“他吃了披萨”和“他喝了披萨”时存在问题，这需要动词-宾语关系
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
存在问题及解决办法：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三元语言模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
解决稀疏问题的方法：
在这里插入图片描述
为什么用对数概率？
在这里插入图片描述
在这里插入图片描述

生成模型

在这里插入图片描述
马尔可夫模型

LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 5044
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
【CS324】LLM（大模型的能力、数据、架构、分布式训练、微调等）
发现问题，并解决问题，批判性思维
09-12 2286
语言模型最初是在信息理论的背景下研究的，可以用来估计英语的熵。 熵用于度量概率分布：熵实际上是一个衡量将样本 � ∼ � x∼p 编码（即压缩）成比特串所需要的预期比特数的度量。举例来说，“the mouse ate the cheese” 可能会被编码成 “0001110101”。熵的值越小，表明序列的结构性越强，编码的长度就越短。直观地理解N-gram模型在计算上极其高效，但在统计上效率低下。 神经语言模型在统计上是高效的，但在计算上是低效的。 大模型的参数发展：随着深度学习在2010年代的兴起和主要硬
自然语言处理作业A1
Mui的博客
11-28 469
作业地址 任务1：把HTML格式转为JSON数据，再用python的JSON包，把JSON数据转为python能使用的数据结构(dicts, lists…)（chaos2json.py） Your implementation should have at least one regular expression (to extract the textual content of each...
30个最新的自然语言处理模型
ChinaLiaoTian的博客
04-19 6379
30个最新的自然语言处理模型的总结和优劣势对比
西湖大学自然语言处理（一）—— 课程简介及大纲
qq_45645521的博客
03-14 1131
课程简介及大纲自然语言处理概述课程特点课程内容概述基础结构神经网络 自然语言处理概述 Natural Language Processing （NLP） A sub field of Al（人工智能子领域） On automatic understanding and generation of human languages（人类语言的自动理解和生成） Has evolved since the early days of computer science（从计算机科学的早期发展至今） Fast adv
语言模型(NNLM)
lq_fly_pig的博客
08-29 4748
本文主要是记录神经网络语言模型
NLP：Python计算句子概率（最大似然估计法，加一平滑，困惑度，随机句子生成）
qq_43552032的博客
07-05 2008
python实现一元、二元语法模型的最大似然估计、拉普拉斯平滑、困惑度计算，随机句子生成。
自然语言处理入门——中文分词原理及分词工具介绍
myy_1314的博客
07-17 1032
本文首先介绍下中文分词的基本原理，然后介绍下国内比较流行的中文分词工具，如jieba、SnowNLP、THULAC、NLPIR，上述分词工具都已经在github上开源，后续也会附上github链接，以供参考。 1.中文分词原理介绍 1.1 中文分词概述 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的...
论文解读 | AAAI'25 Cobra：多模态扩展的大型语言模型，以实现高效推理
AITIME_HY的博客
02-20 1741
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！点击阅读原文观看作者讲解回放！个人信息作者：赵晗，浙江大学-西湖大学联合培养博士生内容简介近年来，在各个领域应用多模态大语言模型（MLLMs）取得了显著的成功。然而，作为许多下游任务的基础模型，MLLMs通常包含著名的Transformer网络，其计算复杂度呈二次方增长，效率较低。在本文中，我们介绍了一种基于状态空间模型构建的多模态大规...
【人工智能时代】-深度解析RAG大模型知识冲突，清华西湖大学港中文联合发布
最新发布
xiaoli8748的专栏
03-10 470
与此同时，大模型在预训练中也看到了关于解答这个问题的信息，这些信息构成了其参数化知识，又称模型的 “记忆”（Parametric Knowledge，Memory，在上图用蓝色标出）。例如，Chen 等（2022）的研究也指出，当模型在遇到矛盾的信息时，但它们更倾向于信任与问题直接相关的信息和模型内部的参数知识。例如，在使用 top-k 采样时，模型会从概率最高的 k 个候选词中随机选择下一个词，这种随机性增加了输出的不确定性，使得相同的输入在不同次推理中可能得到不同的结果。
NLP常见语言模型总结
热门推荐
分享实践与思考
01-19 2万+
目录 一、词的离散表示 1、One-hot编码（独热编码） 2、Bag of Words（BOW，词袋模型） 3、N-gram语言模型 二、词的分布式表示（Distributed Representation） 1、共现矩阵（Co-currence Matrix） 2、神经网络语言模型（Neural Network Language Model，NNLM） 3、Word2Vec，G...
词向量：语言模型
lpty的博客
12-07 3230
一、统计语言模型 1、什么是统计语言模型？ 一个语言模型通常构建为字符串s的概率分布p(s)，这里的p(s)实际上反映的是s作为一个句子出现的概率。 这里的概率指的是组成字符串的这个组合，在训练语料中出现的似然，与句子是否合乎语法无关。假设训练语料来自于人类的语言，那么可以认为这个概率是的是一句话是否是人话的概率。 2、怎么建立统计语言模型？ 对于一个由T个词按顺序构成的句子，p(s)实
西湖大学张岳老师：图神经网络在自然语言处理中的应用
zenRRan的博客
04-23 918
点击下面卡片，关注我呀，每天给你送来AI技术干货！来源：深度学习与图网络近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处...
西湖大学开学：新生每月5000元补助，AI博士研究永生课题
量子位
08-26 1938
问耕 发自 麦蒿寺量子位 出品 | 公众号 QbitAI开学了！这个周末，西湖大学在今年4月获得教育部批准正式成立以后，第一次迎来新生报到、开学典礼。不过这所大学门口，并...
西湖大学特聘研究员张岳：自然语言处理的一些瓶颈思考与探索
喜欢打酱油的老鸟
02-01 1380
2021-01-11 19:18:38 11月14日至15日，由中国人工智能学会、嘉兴市人民政府主办，嘉兴市南湖区人民政府、嘉兴科技城管理委员会、浙江未来技术研究院（嘉兴）共同承办的2020第十届中国智能产业高峰论坛（CIIS 2020）在嘉兴南湖举办。在11月15日的自然语言理解专题论坛上，西湖大学特聘研究员张岳为我们带来了题为《自然语言处理的一些瓶颈思考与探索》的精彩演讲。 张岳：西湖大学特聘研究员 以下是张岳研究员的演讲实录： 我分两部分给大家介绍我们最近的研究，第一部分简单回..
自然语言处理各类方法和模型
war3gu的博客
05-30 4664
自然语言处理的基本方法基于词向量的表达： 1.count-based 设置一个词窗口，然后根据这个词窗口生成共现矩阵，然后进行SVD分解 2.prediction-based 这种方法最后一步softmax的计算量太大，要对几十万维的向量进行点积，一般流行把softmax改为sigmoid函数，正确的例子，结果靠近1，负采样得到一些错误的例子，结果靠近0，一起参与训练 ELMO 一共4层 基于...
【NLP】自然语言处理的高级序列建模
sikh_0529的博客
09-24 9632
在本章，我们以第6章和第7章讨论的序列建模概念为基础，并将它们扩展到序列到序列建模领域，其中模型将一个序列作为输入并产生另一个可能不同长度的序列作为输出。序列到序列问题的例子随处可见。例如，我们可能想要，给定一封电子邮件，预测回复，给定一个法语句子，预测它的英文翻译，或者给定一篇文章，写一篇总结文章的摘要。我们还在这里讨论序列模型的结构变体：特别是双向模型。为了充分利用序列表示，我们介绍了注意力机制并对其进行了深入讨论。最后，本章以实现本文所述概念的神经机器翻译 (NMT) 的详细演练结束。序列到序列 (S
面试问题：2018年泰迪杯数据挖掘竞赛赛题(自然语言处理、搜索引擎、文本检索模型)
sally的jerry
05-16 2057
1、 赛题背景 日常生活中人们需要阅读大量的文本。很多情况下我们只需要从文本中查找某一些片段来解决我们的问题，这是并不需要阅读整篇文章。因此我们希望智能阅读技术能够在这方面提供一些帮助。 2、 系统流程图初步设计 3、面试问题 3.1 简单介绍一下文本预处理 文本预处理主要包括三个步骤：分词、停用词过滤以及词频统计。 首先是分词。分词即依据中文词汇表将各个词语单独提炼出来。例如将“我们在教室学习”分为“我们/在/教室/学习”四个词汇。我的项目采用的是机械分词法，利用jieba包对文本数据进行分词。原理就
【PaddleNLP】【D题】2021数维杯国际大学生数学建模竞赛
m0_63642362的博客
12-17 705
使用飞桨开发套件PaddleNLP完成2021年数维杯国际大学生数学建模竞赛D题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值