Re17：读论文 Challenges for Information Extraction from Dialogue in Criminal Law

最新推荐文章于 2023-06-27 16:29:55 发布
原创 最新推荐文章于 2023-06-27 16:29:55 发布 · 340 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #python #深度学习 #legalAI #信息抽取

该博客介绍了2021年ACL会议上的一篇论文，关注从刑事听证会记录中抽取事实信息的任务。研究对比了无监督、弱监督以及预训练模型（如DistilBERT和Longformer）在信息抽取方面的效果。数据集是加利福尼亚州假释听证会的自由形式对话，并针对11个特征进行了部分标注。实验中还涉及了基于Snorkel的无监督方法和使用BERT进行任务特定微调的分类模型。F1值在计算时对Date和numerical特征进行了分箱处理。

诸神缄默不语-个人优快云博文目录

论文名称：Challenges for Information Extraction from Dialogue in Criminal Law
论文ACL官方下载地址：https://aclanthology.org/2021.nlp4posimpact-1.8/

本文是2021年ACL论文，任务是从听证会记录文本中抽取事实信息factual information（11个手动挑选出的特征），分别测试了无监督方法、弱监督方法和使用预训练模型的方法在这一任务上的效果。
数据集是自制数据，是free-form dialogue of California parole hearings，一部分数据被标注了11个特征。

本文使用的算法为：

  1. an unsupervised data programming paradigm extended to weak supervision：无监督 Snorkel，有监督 WSLF（逻辑回归）
  2. pretrained question answering models based on DistilBERT and Longformer：QA1-2
  3. classification models based on BERT each fine-tuned to predict a single task：Task-FT

在这里插入图片描述

F1值在计算时，Date和numerical经过了分箱。

Challenges in Statistics: A Dozen Challenges in Causality and Causal Inference_文章解读
wz61197的博客
09-17 1189
最近，一篇由Carlos Cinelli等著名学者共同撰写的论文《Challenges in Statistics: A Dozen Challenges in Causality and Causal Inference》（《统计学中的挑战：因果关系与因果推断的十二大挑战》）为我们描绘了这个领域当前面临的困境和未来的发展方向。这篇博文将以最通俗易懂的方式，带您领略因果推断的奥秘，以及它在未来几十年将如何塑造我们的世界。
论文总结--Edge Computing: Vision and Challenges
stm32_newlearner的博客
04-06 2908
边缘计算 概念： MQTT： MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用...
诸神缄默不语的论文阅读笔记和分类
诸神缄默不语的博客
06-27 1131
诸神缄默不语的论文阅读笔记和分类：作者论文阅读笔记的目录或索引
EMNLP2017论文
orangefly0214的博客
03-17 1万+
转自：http://blog.youkuaiyun.com/m0_37306360/article/details/78720402emnlp 接受论文列表地址:http://emnlp2017.net/accepted-papers.htmlEMNLP 2017共接收323篇论文。 其中216篇是长篇论文，107篇是短篇论文。详细如下： Accepted short papersGlobal Normali...
EMNLP 2017 accepted papers
AI小白入门的博客
12-05 1万+
emnlp 接受论文列表地址:http://emnlp2017.net/accepted-papers.htmlEMNLP 2017共接收323篇论文。 其中216篇是长篇论文，107篇是短篇论文。详细如下： Accepted short papersGlobal Normalization of Convolutional Neural Networks for Joint Entity and
AR as a civil right
weixin_42786150的博客
02-16 1万+
augmentd reality
插件8：拼写检查
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
英文高频词
热门推荐
自然语言处理及大数据
09-08 116万+
('rods', 100) ('carbohydrates', 100) ('stresses', 100) ('premiered', 100) ('cyrus', 100) ('drastically', 100) ('eukaryotic', 100) ('witchcraft', 100) ('accompaniment', 100) ('conventionally',
国外oracle dba的招聘要求
congbao6525的博客
07-20 17万+
看了一下国外dba的招聘要求，自己目前的情况和要求还有很大差距。也可以作为一个参考，继续努力。 Oracle Database Administrator DATABASE We have a...
VoIP Technology：Applications and Challenges 2019.pdf
09-07
VoIP Technology：Applications and Challenges 2019 VoIP Technology：Applications and Challenges 2019.pdf (8.59 MB, 下载次数: 57 ) The several distinguished features of the book are outlined ...
Recent progress on optical rogue waves in fiber lasers: status, challenges, and perspectives
01-26
Rogue waves (RWs) are rare, extreme amplitude, localized wave packets, which have received much interest recently in different areas of physics. Fiber lasers with their abundant nonlinear dynamics ...
TensorFlow安装教程
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 5万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 5万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 3万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
NetworkX入门教程
诸神缄默不语的博客
05-28 3万+
NetworkX入门教程 NetworkX：Python处理图数据的包
wandb使用教程（持续更新ing...）
诸神缄默不语的博客
05-17 2万+
wandb使用教程
huggingface.datasets无法加载数据集和指标的解决方案
诸神缄默不语的博客
04-08 2万+
解决huggingface的datasets包无法加载数据集的问题
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing Ber
诸神缄默不语的博客
04-05 2万+
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing BertModel: ['cls.seq_relationship.weight', 'cls.predictions.transform.dense.bias', 'cls.seq_relationship.bias', 'cls.predictions.bias', 'cls.predictions.transf
Foundations & trends in multimodal machine learning: Principles, challenges, and open questions
最新发布
03-16
### 多模态机器学习的基础原则 多模态机器学习涉及处理来自不同数据源的信息，例如视觉、音频和文本等。其基础原则之一是对模态的定义进行了清晰阐述[^2]。具体来说，模态是指一种特定的数据形式或感知通道，每种模态都携带独特的信息并可能与其他模态存在关联。 为了实现有效的多模态融合，研究者通常依赖于对齐技术，即将不同的模态映射到同一特征空间中以便进行联合分析[^3]。这种对齐过程可以基于显式的匹配策略或者隐式的表示学习方法。 ### 当前的发展趋势 近年来，在深度学习框架下，多模态模型的设计逐渐成为主流方向。相比传统的浅层学习算法[^1]，深层神经网络能够自动提取复杂而抽象的跨模态特征组合。特别是在自然语言处理(NLP)领域与计算机视觉(CV)交叉应用方面取得了显著进展： - **预训练模型**：大规模参数化架构如BERT-Vision-Language Models (VL-BERTs)，通过共享权重机制实现了图像-文字交互理解能力。 - **Transformer结构的应用扩展**：不仅限于序列建模任务，transformers也被广泛应用于异构输入场景下的关系推理问题解决上。 以下是利用Python构建一个多模态嵌入系统的简单示例代码片段： ```python import torch from transformers import BertTokenizer, VisualBertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = VisualBertModel.from_pretrained("uclanlp/visualbert-vqa-coco-pre") text = "An example sentence." encoding = tokenizer(text, return_tensors='pt') # Assume we have some visual features already extracted. visual_embeds = torch.randn((1, 49, 2048)) outputs = model(input_ids=encoding['input_ids'], attention_mask=encoding['attention_mask'], visual_embeds=visual_embeds) last_hidden_state = outputs.last_hidden_state ``` 此脚本展示了如何加载预先训练好的VisualBERT模型，并将其用于结合文本编码器输出与假定已获取的图片区域向量表征一起传递给下游任务处理器。 ### 面临的主要挑战及开放性议题 尽管取得了一定成就，但仍有许多未解难题亟待攻克: 1. 数据稀缺性和标注成本高企使得高质量大型多模态语料库难以获得； 2. 跨域泛化性能不足——即当测试样本分布偏离训练集范围时表现下降明显； 3. 解释性强弱不均等问题突出，尤其是在医疗诊断等领域需高度可信度支持决策制定过程中尤为关键； 4. 如何有效评估多模态系统整体效能尚缺乏统一标准体系指导实践操作流程优化改进工作开展顺利推进下去至关重要. 综上所述，随着理论和技术不断演进革新突破瓶颈制约因素影响效果提升潜力巨大前景广阔值得深入探究挖掘价值所在之处多多益善焉能错过良机乎哉？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值