机器学习项目（二） 人工智能辅助信息抽取（十）

最新推荐文章于 2025-01-22 10:43:27 发布
最新推荐文章于 2025-01-22 10:43:27 发布
阅读量615 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习实战 文章标签： 人工智能 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33357094/article/details/105298195
本文介绍了预训练模型在图像和NLP领域的应用，包括ImageNet、ILSVRC、AlexNet在图像领域的贡献，以及ELMO、GPT和BERT在NLP领域的创新。预训练模型能提升训练效率，解决一词多义问题，并在多种任务中展现强大表征能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

预训练模型

1.图像领域预训练模型

ImageNet

2009年由李飞飞团队邓家等人提出，并迅速发展成为CV领域最知名的比赛ILSVRC，从2010年举办第一届，到2017年李飞飞宣布最后一届，前后总共举办8年，这八年间先后在这个比赛中涌现了一大批推动AI领域尤其是CV领域发展的算法和模型

ILSVRC

2012年Hinton团队提出了AlexNet,超过当时第二名效果41%，一下子引爆了AI领域，因此2012年也被成为"深度学习元年"

图像中的预训练

模型的较低层学习到的主要是物体的边缘，往高层后逐步就变成了成型的物体了。一般来说，物体的边缘和纹路都是一些比较通用的视觉特征，因此将这一部分对应的模型参数用来初始化task-specific模型中的参数，意味着模型就不要再从头开始学习这些特征，从而大大提升了训练的效率和性能。

预训练在图像的应用

1.训练数据少，不足以训练复杂网络
2.加快训练速度
3.参数初始化，找到好的初始点，有利于优化

2.NLP领域预训练模型

类似于图像领域中的ImageNet上预训练的各种模型，来做一个NLP中预训练好的Encoder模块，拿来直接利用。需要思考如何设计一些更通用的可以迁移利用的东西。
在这里插入图片描述

固定词向量的缺陷
1.一词多义，上下文相关
2.未登录词处理，新词发现

ELMO

根据当前上下文对Word Embedding 动态

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习项目（二） 人工智能辅助信息抽取（九）
qq_33357094的博客
03-22 378
关系抽取 关系抽取的应用 1.建立新的结构化的知识库 2.扩大现有知识库 3.支持QA系统 关系分类VS关系抽取 关系分类：一般是判断一个句子中两个实体(entity)是哪种关系，属于多分类问题。 关系抽取：从一个句子中判断两个entity是否有关系，一般是一个二分类问题，指定某种关系。 关系抽取方式 1.手写规则 2.监督学习 3.半监督/无监督学习 人工规则 优点:有高准确率、可以为特定领域定...
机器学习项目（二） 人工智能辅助信息抽取（一）
qq_33357094的博客
03-09 1240
信息抽取基础 知识图谱的概念、应用与构建 什么是知识图谱 知识图谱里通常用==“实体(Entity)”来表达图里的节点，用“关系(Relation)”==来表达图里的“边” 三元组 -> （奥迪，德系，品牌） 知识图谱主要由谷歌提出，用来优化搜索引擎 什么是信息抽取 对于结构化与半结构化数据需要复杂表数据的处理与定义抽取的包装器等方式实现。 对非结构化的纯文本数据需要借助自然语言处理等技术...
机器学习项目（二） 人工智能辅助信息抽取（五）
qq_33357094的博客
03-15 532
条件随机场 概率图模型 概率图模型是指一种用图结构来描述多远随机变量之间条件独立关系的概率模型 图中的每个节点都对应一个随机变量，可以是观察变量，隐变量或是位置参数等；每个链接表示两个随机变量之间具有依赖关系。 有向图 代表两个随机变量之间存在因果关系 无向图 但是有条件依赖关系 概率图模型 有向图VS无向图 有向图 联合概率分布可以利用条件概率来表示 P(v1d,…,vnd)=∏i=1nP(...
AI推介-信息抽取（information extraction,NER）论文速览（arXiv方向）：2023.11.15-2023.12.31
小小帅
06-28 1364
信息提取（IE）旨在从简单的自然语言文本中提取结构性知识（如实体、关系和事件）。最近，生成式大语言模型（LLMs）在文本理解和生成方面表现出了非凡的能力，可以在各种领域和任务中通用。因此，人们提出了许多利用 LLM 能力的方法，并基于生成范式为 IE 任务提供可行的解决方案。为了全面系统地回顾和探讨 LLM 在 IE 任务方面所做的努力，我们在本研究中调查了该领域的最新进展。首先，我们根据不同的 IE 子任务和学习范式对这些工作进行了分类，从而对其进行了广泛的概述；
AI快车道｜通用信息抽取技术与产业应用实战
qq_15821487的博客
09-28 368
UIE统一模板，预训练适配任务，无下游任务了，让任务适配预训练，uie语言模型和下游任统一适配到Prompt,主要就是定义要抽取的标签。评价，因为分类的标签不在原文，所以把标签用括号的方式放入prompt。整体的技术发展路线，统计》神经网络》预训练》Prompt。为何可以减少数据，因为和预训练阶段的方式一致。到底学到是什么，学的是语义的上下文结构。Prompt和原文越相似，效果越好。现状实际需求的技术分解。
信息抽取终于实现了大一统～
夕小瑶科技说
09-29 260
2022年了，有人说信息抽取领域早已是诸神黄昏。然而即使这样，依然“内卷”不止。似乎这个卷成麻花的领域已经看不到希望？但是不久前，这个沉寂之地忽然翻起了浪花，一篇发表在ACL2022上的工作，昭示着这个领域终于获得了里程碑式的突破。用一个架构实现了对该领域诸多子任务的统一建模，就好像秦始皇终于实现了大一统，消除了各个诸侯国之间不互通的度量衡（不是）。之所以说是里程碑式的突破，是因为这项工作，屠爆了...
机器学习项目（二） 人工智能辅助信息抽取（七）
qq_33357094的博客
03-16 3154
文本特征抽取 文本特征抽取利用深度学习自动发现特征的优势，学习到对最终任务有用的特征。 nlp任务特征： 1.序列输入，前后依赖 2.输入不定长 3.位置敏感 卷积神经网络 卷积 -> 池化 -> 全连接 局部感知，参数共享，并行化，速度快 卷积神经网络在图像中应用 局部特征：N-Gram 无法捕捉长距离特征 卷积神经网络在文本中应用 膨胀 Dilated CNN为传统CNN的f...
机器学习项目（二） 人工智能辅助信息抽取（十一）
qq_33357094的博客
04-04 1038
信息抽取深度学习综述 Survey A Survey on Deep Learning for Name Entity Recognition Flair Embedding Contextual String Embeddings for Sequence Labeling 基于字符的language model IDCNN-CRF 膨胀卷积 Fast and Accurate Entity...
信息抽取
qq_39412443的博客
03-14 1104
信息抽取 information extraction（IE） 信息抽取概要 从非结构化数据，也就是需要进一步处理的数据，如图片，文本，video，音频。进一步处理转化为可以用于建模的feature。结构化数据可以存入到数据库中进行管理 主要从文本中进行信息的抽取 抽取实体（entities） 现实中存在的事物，各个领域有专属的实体。 医疗领域：蛋白质，疾病，药物。。。 金融领域：申请人，表单，公司，地址。。。 各个领域关注的实体内容不同，开源的NER的方法很难应用到垂直领域中 抽取关系（relations
08【NLP项目一人工智能辅助信息抽取】第四周part I-深度学习命名实体识别实战
老毛的博客
03-21 956
文章目录项目简介任务简介：深度学习解决NLP任务传统方法解决NER问题深度学习解决NLP任务文本表示词向量语言模型N元语言模型N-gram Language model神经语言模型NNLM文本特征抽取器卷积神经网络膨胀Dilate加深循环神经网络LSTM Long Short Term MemoryBiLSTMTransformer注意力机制Encoder-Decoder框架Attention b...
系统特征信息提取神经网络与算法
04-26
系统特征信息提取神经网络与算法.pdf
信息抽取简介
九久的博客
03-02 708
从非结构化的文本中抽取出一些非常重要的、关键的、人们关心的数据 。核心店：挖实体+实体间的关系 三元组表示（属于知识图谱范围）： 信息抽取为什么这么重要？1、问答系统。2、扩充原有的知识库。3、用于法律、金融领域 一些关系展示： Ontological Relation IS-A Instance-of 例如： 开源的知识库： 关系抽取方法介绍： 当数据多的时候就不用第一种方法了。 ...
【机器学习】特征提取
weixin_44727383的博客
02-26 293
字典特征数据抽取 将字典中的类别数据，转换成特征数值，借助原特征的名称，组合成新的特征，并采用0/1的方式进行量化 from sklearn.feature_extraction import DictVectorizer import numpy as np #定义一组字典列表，用来表示多个数据样本 d1=[{'city':'北京','tep':100}, {'city':'上海'...
【机器学习入门笔记】第二篇-特征提取
Y809714652的博客
07-08 1284
【机器学习入门笔记】第二篇-特征提取
机器学习项目（二） 人工智能辅助信息抽取（八）
qq_33357094的博客
03-20 383
BiLSTM-CRF 模型 BiLSTM-CRF 1.句中转化为字词向量序列，字词向量可以在事先训练好或随机初始化，在模型训练时还可以再训练 2.经过BiLSTM特征提取，输出是每个单词对应的预测标签 3.经CRF层约束，输出最优标签序列 发射分数(emission score) 发射分数 来自BiLSTM层的输出 用XiyjX_{iyj}Xiyj​代表发射分数，i是单词的位置索引，yjy_jyj...
人工智能AI系列 - 问答系统
热门推荐
weixin_39355136的博客
12-21 1万+
目录： http://aias.top/ 问答系统 问答系统(Question Answering System, QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。 文本搜索引擎 本例子基于文本搜索引擎，支持上传csv文件，使用句向量模型提取特征，并基于milvus向量引擎进行后续检索。 主要特性 底层使用特征向
快速入门机器学习——特征抽取
ljinshuo的博客
10-21 5729
学习视频来源于黑马程序员的python机器学习快速入门，根据视频做的学习笔记，感谢黑马程序员的开源精神。 1.机器学习概述 1.人工智能概述     人工智能、机器学习、深度学习的关系： 机器学习是人工智能的一个实现途径。 深度学习是机器学习的一个方法发展而来。     机器学习、深度学习的应用场景： 传统预测 图像识别 自然语言处理 2.什么是机器学习     通过历史数据训练
人工智能 (特征数据提取)
qq_43166246的博客
01-07 8057
特征工程数据提取： 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。（本文是个人的笔记，...
【AI工程实践】中科院：面向非结构化文本的信息抽取
最新发布
一个程序猿的AI转型之路
01-22 1050
比如“豫园”和“建造于”分别是一个三元组的头实体和关系短语，所以“豫”和“建”交叉的位置上有两个标签，分别是“片段开始-片段开始”和“头实体-关系短语”。然后对于每种关系构建二维标注矩阵，比如图4.6对应的是Located-In关系的三元组标注结果，文本中的“故宫博物院”和“北京”两个实体参与了一个类型为Located-In的三元组，那么头实体的开始词“故”和尾实体的开始词“北”在表格中的交点位置标注为一对实体的开始位置，同样，头实体的结束词“院”和尾实体的结束词“京”的交点位置标注为一对实体的结束位置。
C++实现机器学习规则抽取算法详解
在当今信息科技领域，机器学习已成为一个核心的研究方向，而规则抽取（Rule Extraction）是其中一个重要分支，它旨在从机器学习模型中提取出可解释的规则，以便用户能够理解模型的决策过程。标题中提到的“rapier”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值