【无标题】NLP作业01：请利用HMM实现词性标注

原创 已于 2023-04-19 00:18:30 修改 · 163 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #机器学习 #算法

于 2023-04-19 00:13:45 首次发布

一、作业头

这个作业属于哪个课程 自然语言处理
这个作业要求在哪里 https://bbs.youkuaiyun.com/topics/614556240
我在这个课程的目标是 学好这一门课程、保证期末顺利通过
这个作业在哪个具体方面帮助我实现目标 通过代码练习、以及从参考他人的资料来完善自己的不足
参考文献 https://cloud.tencent.com/developer/article/2208137

二、HMM模型

隐马尔可夫模型是一种用于序列标注问题的统计模型。它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。它利用马尔可夫链建模隐含的状态转移关系，并通过概率分布描述状态之间的转移概率；同时，通过观测值与状态之间的条件概率分布，描述了状态生成观测值的过程。

请添加图片描述
三、HMM的模型参数

请添加图片描述
利用“1998人民日报词性标注语料库”进行模型的训练。

# 统计words和tags
words = set()
tags = set()
for words_with_tag in sentences:
    for word_with_tag in words_with_tag:
        word, tag = word_with_tag
        words.add(word)
        tags.add(tag)
words = list(words)
tags = list(tags)
# 统计 词性到词性转移矩阵A 词性到词转移矩阵B 初始向量pi
# 先初始化
A = {
   
   tag: {
   
   tag: 0 for tag in tags} for tag in tags}
B = {
   
   tag: {
   
   word: 0 for word in words} for tag in tags}
pi = {
   
   tag: 0 for tag in tags}
# 统计A，B
for words_with_tag in sentences:
    head_word, head_tag = words_with_tag[0]
    pi[head_tag] += 1
    B[head_tag][head_word] += 1
    for i in range(1, len(words_with_tag)):
        A[words_with_tag[i-1][1]]
最低0.47元/天 解锁文章
imxiaorufeng
关注
NLP作业01：请利用HMM实现词性标注
m0_58985089的博客
04-19 186
根据数据估计HMM的模型参数：全部的词性集合，全部的词集合，初始概率向量，词性到词性的转移矩阵 ，词性到词的转移矩阵。这里直接采用频率估计概率的方法，但是对于会存在大量的0，所以需要进一步采用拉普拉斯平滑处理。HMM=(pi,A,B)，初始概率pi，隐藏（hide）状态转移概率矩阵（A），生成观测（observe）状态概率矩阵（B），Q是所有可能的隐藏状态的集合，V是所有可能的观测状态的集合。已知模型(pi,A,B)和观测序列O=(o1 ,o2,…oT)求状态序列I*={I1*,I2*,I3*,…
用HMM进行词性标注解决状态转移概率0、发射概率为0的方法
weixin_45406155的博客
11-11 1207
利用HMM进行词性标注碰到的壁1.大意失荆州2.后悔可及3.三省吾身 1.大意失荆州 笔者上个星期上了一门创新研修课需要利用HMM来进行词性标注，我一开始的思路大致如下: 首先利用语料库训练出每个隐状态的初始概率、状态之间的转移概率和隐状态生成观测值的发射概率， 然后对于给定的观测序列利用viterbi算法求出最大概率的隐状态序列，我的算法在原来的训练集上面进行词性标注效果很好。 于是我乐呵呵的拿到讲台上去讲，但是老师二话不说，让我找个句子随便来测试一下，我自信满满，上百度随便找了一段话，用我之前写的分
NLP作业01：利用HMM实现词性标注
lz_逸尘9的博客
04-18 1314
HMM，即隐马尔可夫模型（Hidden Markov Model），是一种基于状态转移的概率模型，它可以用来描述一个系统在不同状态之间转移的过程，其中状态是不可观测的，只能通过观测到的结果来推测。HMM模型由两个部分组成：状态序列和观测序列。状态序列是一个随机的序列，描述了系统在不同状态之间的转移过程；观测序列是由状态序列生成的观测数据，描述了在不同状态下系统产生的观测结果。HMM模型的基本假设是，系统的状态转移过程和观测结果都是由概率分布描述的。
基于HMM的词性标注方法
Yangchenju的博客
09-03 5895
文章目录1 HMM模型概念2序列标注问题 (Sequence Labeling Problem)3 基于HMM的词性标注方法3.1 HMM词性标记模型3.2 HMM词性标记计算3.3 预测问题（解码问题）4 HMM词性预测的缺点 1 HMM模型概念 首先来理解以下什么是HMM，HMM是隐马尔可夫模型（Hidden Markov Model）的简称，是一种统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析。 为了比较容易上手，
hmm进行英文词性标注
光英的记忆博客
12-01 987
这里采用的手写维特比算法进行词性标注 我们也可以选择第三方的库进行计算 https://github.com/jmschrei/yahmm import nltk import sys from nltk.corpus import brown """ 做这个之前 首先我们要知道 我们知道什么 要求什么 第一步 我们需要根据 给定的语料库 进行学习hmm模型的...
利用HMM进行词性标注实战
qq_35274850的博客
06-28 1234
隐马尔可夫有三个问题，第三个问题就是利用已知模型和序列对隐状态序列I=(I1,I2,....In)进行预测.要想进行预测的话可以使用维特比算法，在写维特比算法的时候总是很多bug或者逻辑错误，之后代码会将每一步进行注释。 首先要初始化词典以及参数，主要就是做一个id与tag和word的相互转换，以及定义转移矩阵A,初始概率Π，以及观测概率B。 然后计算词频，并最后转换成概率，即train函数 最后就是利用维特比算法进行预测，这里是用了动态规划dp，并记录每一步最优概率的路径ptr. import
统计机器学习方法 for NLP：基于HMM的词性标注
nghuyong的博客
06-18 1159
前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合，通过具体的NLP应用场景，强化对书中公式的理解，最终形成「统计机器学习方法 for NLP」的系列。这篇将介绍隐马尔可夫模型HMM（绝对给你一次讲明白）并基于HMM完成一个中文词性标注的任务。HMM是什么隐马尔可夫模型（Hidden Markov Model, HMM) 是做NLP的同学绕不过去的一个基础模型，是一个生成式模型，通过...
时间序列的“语言”：从语言模型视角理解时序基础模型
u010681011的专栏
11-30 525
摘要： 本文提出“时间的语言”假说，将时间序列基础模型类比为语言模型，认为时间序列patch（短片段）类似于语言中的token，但在潜在空间中表现为分布而非单点。通过构建时间序列“词汇表”并分析其统计特性，研究发现时间序列token遵循Zipf定律，且其组合呈现稀疏语法结构，验证了时间序列数据的类语言特征。这一发现为跨域时序模型的迁移能力提供了理论支持，表明模型通过学习“时间的语言”实现对动态模式的抽象表示。
知识图谱 (Neo4j)、大语言模型与 RAG 技术全景解析
m0_73161433的博客
11-30 556
大语言模型是参数规模达数十亿至数万亿的深度学习模型，基于 Transformer 架构，通过海量文本预训练获得理解和生成自然语言的能力。关键里程碑2017 年：Transformer 架构问世，解决 RNN 无法并行计算和捕捉长距离依赖的问题2018 年：GPT-1 (1.17 亿参数) 验证 "预训练 + 微调" 范式2020 年：GPT-3 (1750 亿参数) 展现 "零样本学习" 能力2022 年：ChatGPT 引入 RLHF (人类反馈强化学习)，大幅提升对话质量。
Transformer架构变体全景图：从BERT到GPT的演化路径
11-30 849
Transformer架构从原始编码器-解码器结构演化出三大技术路线：仅编码器架构（如BERT）、仅解码器架构（如GPT）和编码器-解码器架构（如T5）。BERT系列通过掩码语言建模实现双向理解，GPT系列采用因果自注意力进行自回归生成，T5则统一任务为文本到文本格式。这些变体在自注意力机制、位置编码等核心组件基础上，针对不同任务需求进行优化，形成了自然语言处理领域的多元技术生态。
AI核心知识22——大语言模型之重要参数Top-P（简洁且通俗易懂版）
2302_79444404的博客
11-29 654
Top-P和Temperature是控制AI生成随机性的两大关键参数。Top-P通过限定高概率候选词范围（如设0.9时排除概率最低的10%词汇），而Temperature则调整概率分布形状使输出更保守或大胆。专家建议二者择一使用：新手优先调节Temperature（0-1.2），进阶者可先用Top-P=0.9过滤荒谬选项，再调Temperature控制风格。典型组合如代码生成用低温（0.2）+低Top-P（0.3），创意写作则用中高温（0.8）+高Top-P（0.9）。
AI论文整理：Flamingo: a Visual Language Model for Few-Shot Learning
极客BIM工作室
11-28 706
Flamingo是DeepMind提出的视觉语言模型（VLM）家族，核心目标是实现少样本学习（仅需少量标注示例快速适配新任务）。其通过三大架构创新：一是用连接预训练视觉编码器（冻结NFNet-F6）与语言模型（冻结Chinchilla系列），处理可变尺寸视觉特征并输出固定视觉 tokens；二是在冻结语言模型层间插入GATED XATTN-DENSE层，实现视觉信息对语言生成的条件约束且避免训练不稳定；三是通过单图像交叉注意力掩码支持任意 interleaved（交织）的图文/视频文本输入。
GKD：语言模型的策略内蒸馏：从自身生成的错误中学习
11-30 53
首先在抽象摘要任务中评估GKD，即生成能够抓取输入文档核心内容的摘要。我们使用XSum数据集（Narayan等，2018），包含新闻文章及其人工撰写的摘要。参考PaLM（Chowdhery等，2022），在XSum验证集上使用ROUGE-2分数（Lin, 2004）评价预测摘要的质量，同时观察到ROUGE-L和ROUGE-1的趋势一致。学生模型为在XSum上经过监督微调的T5系列，教师模型为微调后的T5-XL。更多实验细节见附录A.3。与基线方法的比较。
AI核心知识21——大语言模型之核心参数Temperature（简洁且通俗易懂版）
2302_79444404的博客
11-28 1021
温度参数是调节大语言模型输出随机性的关键设置。低温度(0.1-0.3)使AI回答更稳定保守，适合编程、数学等严谨任务；高温度(0.8-1.2)增加创造性，适合写作、创意场景，但可能产生不连贯内容。温度通过改变词语选择概率分布来工作：低温强化高频词选择，高温提升低频词机会。最佳设置需根据任务需求平衡：事实性任务用低温，创意任务用高温。注意温度仅控制随机性，不能纠正AI的知识错误。
AI核心知识25——大语言模型之RAG（简洁且通俗易懂版）
最新发布
2302_79444404的博客
11-30 637
RAG（检索增强生成）被誉为治疗大模型“幻觉”的特效药。它通过给大模型外挂一个“实时图书馆”，将其工作模式从全靠记忆的“闭卷考试”转变为有据可查的“开卷考试”。 其工作流程包含三步：首先检索外部知识库中的相关段落；其次将资料与问题结合进行增强；最后由大模型基于事实生成回答。RAG完美解决了传统大模型数据滞后、无法访问私有数据及胡编乱造的三大痛点。相比昂贵的微调（Fine-tuning），RAG具有成本低、更新快的优势，是目前90%企业级应用（如客服、文档助手）的首选技术方案。
完全没接触过AI/NLP，如何系统学习大模型？
人邮异步社区
11-30 690
我们将强调利用基准测试来 评价模型回复的重要性，并通过实验调整不同的超参数来控制模型的输出，例如，尝试不同的 解码方法，或通过调整温度参数来调节模型的创造力。鉴于此， 我们将在本章中探讨部署过程中面临的挑战，并提供一些优化建议以降低成本，降低延迟和对 模型的占用，包括模型蒸馏、量化和剪枝等内容。尽管很多优秀的 AI 实验室和开源开发者在诸如 RLHF 等领域付出了重大努力，以使基础 模型能适应人类需求，但现成的基础模型仍然存在限制，不易于在生产中直接使用，除非面对 的是最简单的任务。
AI核心知识23——大语言模型之System Prompt（简洁且通俗易懂版）
2302_79444404的博客
11-29 817
System Prompt是AI模型的“角色剧本”，作为最高优先级指令在对话前设定。它决定了AI的角色定位、回答方式和禁忌范围，类似导演给演员讲戏。技术上，System Prompt位于API调用的首位，具备三大功能：确立角色、设定安全边界、规定输出格式。与用户可见的User Prompt不同，System Prompt是开发者设定的隐藏指令，贯穿整个对话。为防止“提示词注入”攻击，现代AI会加强防御以保持角色一致性。简言之，System Prompt就是AI的"人设配置文件"
机器学习周报二十四
weixin_60864619的博客
11-30 749
本周学习了潜在扩散模型的概念，潜在扩散模型的实现是很简单的，之后学习了变分自编码器(VAE)。同时解决了之前的RCNN目标检测的模型，但是效果很差。This week, I studied the concept of latent diffusion models. The implementation of latent diffusion models is quite simple. Afterwards, I learned about variational autoencoders (VAE)
11.1 高斯消元法的应用
passxgx的博客
11-26 780
高斯消元法实际应用
统计自然语言处理：HMM与词性标注详解
词性标注是自然语言处理中的一个具体应用，利用HMM来确定一个单词在句子中的语法角色，如名词、动词等。通过学习词汇在不同上下文中的词性分布，模型可以预测给定单词的词性，帮助解析句子结构。 总结来说，统计...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值