ChatGPT多模态命名实体识别

通过统一多模态Transformer(UMT)的实体扫描检测(ESD)来改进多模态命名实体识别(MNER) 通过统一多模态Transformer(UMT)的实体扫描检测(ESD)来改进多模态命名实体识别(MNER) 论文名称:Improving Multimodal Named Entity Recognition via Entity Span Detection with Unified Multimodal Transformer 论文作者:Jianfei Yu, Jing Jiang, Li Yang, Rui Xia 论文地址:2020.acl-main.306 https://www.aclweb.o 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

ChatGPT辅助细化知识增强!

一、研究背景

二、模型结构和代码

任务流程

第一阶段:辅助精炼知识启发式生成

第二阶段:基于辅助精炼知识的实体预测

三、数据集介绍

三、性能展示

实现过程

运行过程

训练过程

最终结果


本文所有资源均可在该地址处获取。

ChatGPT辅助细化知识增强!

在这里插入图片描述 多模态命名实体识别(MNER)最近引起了广泛关注。 用户在社交媒体上生成大量非结构化内容,主要由图像和文本组成。这些帖子具有与社交媒体相关的固有特征,包括简洁和非正式的写作风格。 这些独特的特征对传统的命名实体识别(NER)方法提出了挑战。

在本文中,我提出了一个两阶段框架,旨在利用 ChatGPT 作为隐式知识库,并使其能够启发式生成辅助知识,以实现更有效的实体预测。 具体来说,其中包含一个多模态相似示例感知模块,该模块从少量预定义的人工样本中选择合适的示例。 然后将这些示例集成到适合 MNER 的格式化提示模板中,并指导 ChatGPT 生成辅助细化知识。 最后,将获得的知识与原始文本集成并输入下游模型以进行进一步处理。

【注】 文章中所用到的数据集,都经过预处理的数据集文件(.txt),代码和数据集都放在了附件中,感兴趣的小伙伴可以进行下载,谢谢支持!

一、研究背景

社交媒体上的多模态命名实体识别(MNER)旨在通过结合基于图像的线索来增强文本实体预测。 现有的研究主要集中在最大限度地利用相关图像信息或结合显式知识库中的外部知识。 然而,这些方法要么忽视了为模型提供外部知识的必要性,要么遇到检索知识冗余度高的问题。

二、模型结构和代码

我的模型主要分为两个阶段。在生成辅助细化知识的阶段,我利用一组有限的预定义人工样本,并采用多模态相似示例感知模块来仔细选择相关实例。然后,将这些选定的示例合并到格式正确的提示中,从而增强为 ChatGPT 提供的启发式指导,以获取精炼的知识。 在基于辅助知识的实体预测阶段,将原始文本与ChatGPT生成的知识信息相结合。然后,将此级联输入输入基于转换器的编码器以生成token表示。最后,将表示输入线性链条件随机场层,以预测原始文本序列的概率分布。

任务流程

  1. 任务公式化 在这里插入图片描述

  2. 上下文学习 在这里插入图片描述 虽然GPT-4可以接受多模态信息输入,但这一功能仅处于内部测试阶段,尚未公开使用。此外,与ChatGPT相比,GPT-4的成本更高,API请求速度较慢。为了提高可复现性,我们仍然选择ChatGPT作为主要的研究对象,并且提供的这一范式也可以用于GPT-4。

为了使ChatGPT能够完成图文多模态任务,使用了先进的多模态预训练模型将图像转换为图像说明。最后将测试输入x设计为以下模板: 在这里插入图片描述

第一阶段:辅助精炼知识启发式生成

  1. 预定义的人工样本 使ChatGPT在MNER任务中表现更好的关键在于选择合适的上下文示例。获取准确标注的上下文示例,这些示例能够精确反映数据集的标注风格并提供扩展辅助知识的途径,是一个显著的挑战。直接从原始数据集中获取这些示例并不可行。为了解决这个问题,我采用了随机抽样的方法,从训练集中选择一小部分样本进行人工标注。具体来说,对于Twitter-2017数据集,从训练集中随机抽取200个样本进行人工标注,而对于Twitter-2015数据集,数量为120。标注过程包括两个主要部分。第一部分是识别句子中的命名实体,第二部分是综合考虑图像和文本内容以及相关知识,提供全面的理由说明。在标注过程中遇到的多种情况中,标注者需要从人类的角度正确判断并解释样本。对于图像和文本相关的样本,我们直接说明图像中强调了文本中的哪些实体。对于图像和文本无关的样本,我们直接声明图像描述与文本无关。通过人工标注过程,强调了句子中的实体及其对应的类别。此外,引入了相关的辅助知识来支持这些判断。这个细致的标注过程为ChatGPT提供了指导,使其能够生成高度相关且有价值的回答。

  2. 多模态相似示例感知模块 由于GPT的少样本学习能力在很大程度上取决于上下文示例的选择,我设计了多模态相似示例感知(MSEA)模块来选择合适的上下文示例。作为一个经典的多模态任务,MNER的预测依赖于文本和视觉信息的整合。因此,我们将文本和图像的融合特征作为评估相似示例的基本标准。而这种多模态融合特征可以从之前的多模态命名实体识别(MNER)模型中获得。将MNER数据集D和预定义的人工样本 G 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 在以往的研究中,经过交叉注意力投射到高维潜在空间的融合特征H会直接输入到解码层,以进行结果预测。我们的模型选择HH作为相似示例的判断依据,因为在高维潜在空间中相近的示例更有可能具有相同的映射方式和实体类型。计算测试输入与每个预定义人工样本的融合特征H的余弦相似度。然后,选择前N个相似的预定义人工样本作为上下文示例,以启发ChatGPT生成辅助的精炼知识: 在这里插入图片描述 为了高效实现相似示例的感知,所有的多模态融合特征可以提前计算并存储。

  3. 启发式增强提示生成

在获得上下文示例C之后,构建了一个完整的启发式增强提示,以利用ChatGPT在MNER任务中的少样本学习能力。提示头、一组上下文示例和测试输入共同构成了一个完整的提示。提示头根据任务需求以自然语言描述MNER任务。鉴于输入的图像和文本不一定总是直接相关,鼓励ChatGPT发挥其自主判断力。上下文示例由MSEA模块的结果对于测试输入,答案部分留空,由ChatGPT生成。

第二阶段:基于辅助精炼知识的实体预测

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

三、数据集介绍

我们在两个公共 MNER 数据集上进行了实验:Twitter-2015和 Twitter-2017。这两个数据集都是从Twitter平台上收集的,包含了文本和图像的配对信息,主要用于研究在社交媒体短文本场景下的多模态命名实体识别和情感分析等任务。

  1. Twitter-2015: 推文中的文本部分被手动标注了命名实体,并使用BIO2(Beginning- Inside-Outside)标注方案对命名实体进行分类。实体类别包括人物(Person)、组织(Organization)、地点(Location)等。3373/723/723(train/development/test)

  2. Twitter-2017: 相比于Twitter-2015,Twitter-2017数据集的规模更大,包含了更多的推文样本。Twitter-2017不仅扩大了数据规模,还提高了标注的多样性和复杂性,推文中的命名实体更加丰富。此外,推文配对的图像信息在识别命名实体方面也具有重要作用,尤其是那些无法通过文本直接判断的实体。4000/1000/3257(train/development/test)

三、性能展示

在这里插入图片描述

实现过程

在下载附件并准备好数据集并调试代码后,进行下面的步骤,附件已经调通并修改,可直接正常运行; 环境要求

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">python</span> <span style="color:#981a1a">==</span> <span style="color:#116644">3.7</span>
<span style="color:#000000">torch</span> <span style="color:#981a1a">==</span> <span style="color:#116644">1.13.1</span>
<span style="color:#000000">transformers</span> <span style="color:#981a1a">==</span> <span style="color:#116644">4.30.2</span>
<span style="color:#000000">modelscope</span> <span style="color:#981a1a">==</span> <span style="color:#116644">1.7.1</span></span></span>
  1. 我们的项目基于AdaSeq, AdaSeq项目基于Python版本>= 3.7和PyTorch版本>= 1.8。

  2. 下载

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">git</span> <span style="color:#000000">clone</span> <span style="color:#000000">https</span>:<span style="color:#981a1a">//</span><span style="color:#000000">github</span>.<span style="color:#000000">com</span><span style="color:#981a1a">/</span><span style="color:#000000">modelscope</span><span style="color:#981a1a">/</span><span style="color:#000000">adaseq</span>.<span style="color:#000000">git</span>
<span style="color:#000000">cd</span> <span style="color:#000000">adaseq</span>
<span style="color:#000000">pip</span> <span style="color:#000000">install</span> <span style="color:#981a1a">-</span><span style="color:#000000">r</span> <span style="color:#000000">requirements</span>.<span style="color:#000000">txt</span> <span style="color:#981a1a">-</span><span style="color:#000000">f</span> <span style="color:#000000">https</span>:<span style="color:#981a1a">//</span><span style="color:#000000">modelscope</span>.<span style="color:#000000">oss</span><span style="color:#981a1a">-</span><span style="color:#000000">cn</span><span style="color:#981a1a">-</span><span style="color:#000000">beijing</span>.<span style="color:#000000">aliyuncs</span>.<span style="color:#000000">com</span><span style="color:#981a1a">/</span><span style="color:#000000">releases</span><span style="color:#981a1a">/</span><span style="color:#000000">repo</span>.<span style="color:#000000">html</span></span></span>
  1. 将我们的附件文件夹复制到/adaseq/examples/

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#981a1a">-</span><span style="color:#000000">adaseq</span>
<span style="color:#981a1a">---|</span><span style="color:#000000">examples</span>
<span style="color:#981a1a">-----|</span><span style="color:#000000">ER</span>
<span style="color:#981a1a">-------|</span><span style="color:#000000">twitter</span><span style="color:#981a1a">-</span><span style="color:#116644">15</span><span style="color:#981a1a">-</span><span style="color:#000000">txt</span>.<span style="color:#000000">yaml</span>
<span style="color:#981a1a">-------|</span><span style="color:#000000">twitter</span><span style="color:#981a1a">-</span><span style="color:#116644">17</span><span style="color:#981a1a">-</span><span style="color:#000000">txt</span>.<span style="color:#000000">yaml</span></span></span>
  1. 用我们的adaseq文件夹替换原来的adaseq文件夹

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#981a1a">-</span><span style="color:#000000">adaseq</span>
<span style="color:#981a1a">---|</span>.<span style="color:#000000">git</span>
<span style="color:#981a1a">---|</span>.<span style="color:#000000">github</span>
<span style="color:#981a1a">---|</span><span style="color:#000000">adaseq</span>   <span style="color:#981a1a"><--</span> (<span style="color:#000000">Use</span> <span style="color:#000000">our</span> <span style="color:#000000">adaseq</span> <span style="color:#000000">replace</span> <span style="color:#000000">it</span>)  
<span style="color:#981a1a">---|</span><span style="color:#000000">docs</span>
<span style="color:#981a1a">---|</span><span style="color:#000000">examples</span>
<span style="color:#981a1a">---|</span><span style="color:#000000">scripts</span>
<span style="color:#981a1a">---|</span><span style="color:#000000">tests</span>
<span style="color:#981a1a">---|</span><span style="color:#000000">tools</span></span></span>
  1. 训练模型

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">python</span> <span style="color:#981a1a">-</span><span style="color:#000000">m</span> <span style="color:#000000">scripts</span>.<span style="color:#000000">train</span> <span style="color:#981a1a">-</span><span style="color:#000000">c</span> <span style="color:#000000">examples</span><span style="color:#981a1a">/</span><span style="color:#000000">ER</span><span style="color:#981a1a">/</span><span style="color:#000000">twitter</span><span style="color:#981a1a">-</span><span style="color:#116644">15.</span><span style="color:#000000">yaml</span>
    <span style="color:#000000">python</span> <span style="color:#981a1a">-</span><span style="color:#000000">m</span> <span style="color:#000000">scripts</span>.<span style="color:#000000">train</span> <span style="color:#981a1a">-</span><span style="color:#000000">c</span> <span style="color:#000000">examples</span><span style="color:#981a1a">/</span><span style="color:#000000">ER</span><span style="color:#981a1a">/</span><span style="color:#000000">twitter</span><span style="color:#981a1a">-</span><span style="color:#116644">17.</span><span style="color:#000000">yaml</span></span></span>

运行过程

训练过程

在这里插入图片描述

最终结果

在这里插入图片描述

  • 本文所有资源均可在该地址处获取

​​

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

ChatGPT的大致原理 而多模态的ChatGPT就做的事这件事,接收:类型的输入并且输出各种类型的输出。其中Genrative是生成的意思,它的作用是可以创造或者生产一些新的东西;几乎不可能,第一是知识的局限性,ChatGPT也一样,不可能掌握所有的知识;这篇问答主要的作用是通俗的解释了ChatGPT的运行原理,但是很多的细节并没。ChatGPT输出内容的准确性,它大概率是没问题的,但是你要把它用在关键问。而现在的ChatGPT,其实已经升级过两次了,一。这个「模」在这里就指的是不同的数据类型,为什么ChatGPT要做多模态, 阅读详情

相关推荐

Java NLP革命:用Java构建《ChatGPT》级自然语言处理系统

【代码】Java NLP革命:用Java构建《ChatGPT》级自然语言处理系统。

墨夶的博客 509

【必知必懂论文】之多模态实体识别

随着互联网技术和信息存储技术的发展,互联网中的信息形态已从传统的纯文本模态转变为涵盖文本、图像、视频等多模态形式,这给传统的面向纯文本的命名实体识别任务带来巨大的挑战,本篇文章就想带领大家学习一下,多模态命名实体识别(MNER)的几篇必知懂论文。这几篇论文是小编根据多模态命名实体识别方法的类别,从主要的几类方法中挑选出几篇代表性工作,希望能够给大家带来帮助。如果喜欢我们的文章,就加个关注吧,小编会持续地为大家输出详细的、精彩的论文分享,或者如果你想了解什么内容,也可底部留言给我们。

秋水顽石 5466

ChatGPT在多模态语言理解中的突破性进展

随着人工智能技术的快速发展,多模态语言理解成为了当前研究的热点之一。多模态语言理解是指将文本、图像、语音等多种模态的信息进行整合,从而实现对复杂语言的理解。在这种背景下,ChatGPT作为一款强大的人工智能语言模型,其在多模态语言理解中的应用和突破性进展引起了广泛关注。本文旨在探讨ChatGPT在多模态语言理解中的突破性进展,从基础理论、应用技术、案例分析以及未来发展趋势等方面进行全面分析。希望通过本文,读者能够对ChatGPT在多模态语言理解领域的应用有更深入的理解。

AI大模型应用之禅 1161

用于多模态命名实体识别的通用匹配对齐框架

每天给你送来NLP技术干货!来自:知识工场命名实体识别是NLP领域中的一项基础任务,在文本搜索、文本推荐、知识图谱构建等领域都起着至关重要的作用,一直是热点研究方向之一。多模态命名实体识别在传统的命名实体识别基础上额外引入了图像,可以为文本补充语义信息来进行消岐,近些年来受到人们广泛的关注。尽管当前的多模态命名实体识别方法取得了成功,但仍然存在着两个问题:(1)当前大部分方法基于注意力机制来进行文...

zenRRan的博客 1990

ChatGPT多模态交互的提示词策略

引言:ChatGPT 多模态交互的提示词策略 1. 背景介绍 1.1 ChatGPT:引领自然语言处理的新星 ChatGPT 是由 OpenAI 于 2022 年 11 月推出的一款基于 GPT-3.5

AI天才研究院 903

树莓派4B系统安装及SSH远程控制(简单易操作)

​自从2022年4月树莓派官网更新了RaspberryPiImager版本v1.7.2后,便不再支持自行建立ssh文件,并用默认用户名pi和密码raspberry的方式进行远程控制(亲测不行,输密码时一直access denied)。但是该版本软件提供了烧录系统前设置ssh用户及密码功能。本文记录了系统安装和SSH远程操作步骤。........................

机械人的代码路 5792

多模态实体识别笔记

【代码】多模态实体识别笔记。

qq_46236257的博客 935

PVE 9.0 保姆级安装及优化教程(换源、网络配置、远程唤醒等)【基础篇】

最近,Proxmox VE 推出了基于 Debian 13 的 9.0 版本。正巧我手头有一台闲置的老电脑,与其闲置,不如装上 PVE,让它化身 All in One,继续发挥它的余热。G4560 算是一颗 NAS 神 U,十几元的售价就能有双核四线程,比起什么 J1900 不知道强到哪里去了,尽管定位上是奔腾处理器,但性能甚至能和同代的酷睿 i3-7100 掰掰手腕,并且它还自带 HD 610 的核显,对于解码的支持也还不错。

zc_mk的博客 7515

技术前沿 |【多模态实体识别:NLP领域新的发展机遇】

多模态实体识别技术它结合了图像、文本、语音等多种模态的数据,为NLP领域带来了新的发展机遇。是指通过融合多种模态的数据,如图像、文本、语音等,来识别并提取出特定实体信息的技术。多模态实体识别技术能够充分利用不同模态数据之间的互补性,提高实体识别的准确性和效率。例如,基于深度学习的多模态特征融合方法可以通过神经网络自动学习不同模态数据的特征表示,并将其融合成统一的特征向量。在智能交通系统中,多模态实体识别技术可以用于识别交通标志、车辆、行人等实体,并实现车辆与行人之间的交互。

尺小闹的博客 1782

南京邮电大学电工电子基础B实验六(组合逻辑电路)

南京邮电大学电工电子基础B实验五(组合逻辑电路);电工电子;南京邮电大学;计算机学院;实验报告;电路图;

亦是远方的小地方 1万+

光耦继电器电路分析

光耦电路的分析笔记

MingYue_SSS的博客 6893

MNER多模态实体识别论文介绍,有关大模型和chatgpt

最近的一篇论文**《Prompting ChatGPT in MNER: Enhanced Multimodal Named Entity Recognition with Auxiliary Refined Knowledge》**给出了答案:通过提示(prompting)ChatGPT生成辅助精炼知识(ARK),显著提升了MNER的性能。通过精心设计的提示,ChatGPT能够在多模态数据中生成高质量的辅助知识,极大提升了MNER任务的性能。传统的NER任务依赖纯文本,但现实生活中,信息往往是多模态的。

qq_56997043的博客 2043

USB之ch376s数据手册

         最近师兄交给我一个项目,虽说刚学嵌入式起步,但上手一个项目怎说都是最好的快速学习方式。因为刚了解ch376s管理U盘的数据,所以先是看了ch376s的数据手册。那我就把数据手册直接放上来吧。。。。      1、概述 CH376 是文件管理控制芯片,用于单片机系统读写 U 盘或者 SD 卡中的文件。 CH376 支持 USB 设备方式和 USB 主机方式,并且内置了 USB 通...

iBGG的博客 6008

【论文复现】多模态命名实体识别

我们在两个公共 MNER 数据集上进行了实验:Twitter-2015和 Twitter-2017。这两个数据集都是从Twitter平台上收集的,包含了文本和图像的配对信息,主要用于研究在社交媒体短文本场景下的多模态命名实体识别和情感分析等任务。Twitter-2015: 推文中的文本部分被手动标注了命名实体,并使用BIO2(Beginning- Inside-Outside)标注方案对命名实体进行分类。实体类别包括人物(Person)、组织(Organization)、地点(Location)等。

2201_75366661的博客 1637

Qt —— QWebEngineView加载谷歌离线地图(包含离线地图瓦片下载制作、附谷歌地图开发文档)

  关注 微信公众号搜索"Qt_io_"或"Qt开发者中心"了解更多关于Qt、C++开发知识.。 笔者 - jxd

1万+

手把手教你完成基于cnn的手写数字识别系统MATLAB语言

手写数字识别是经典的 CNN 分类应用之一,常用的数据集就是 MNIST 手写数字数据集,包含 0~9 这 10 个数字的手写图片,每个数字都由 6 万幅训练图像和 1 万幅测试图像构成。为了便于直观分析,这里选择 MATLAB 工具箱提供的 DigitDataset 进行训练识别,读者也可以直接利用 MNIST 数据集或者自己设计的数据集进行实验。其中,数据集文件夹 db 如图 所示。在数据集文件夹 db 里面对每个数字都建立了子文件夹,各自包含 1000 幅 28×28 大小的二维灰度图像。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 1370

【人工智能】ChatGPT多模型感知态识别

我们在两个公共 MNER 数据集上进行了实验:Twitter-2015和 Twitter-2017。这两个数据集都是从Twitter平台上收集的,包含了文本和图像的配对信息,主要用于研究在社交媒体短文本场景下的多模态命名实体识别和情感分析等任务。Twitter-2015: 推文中的文本部分被手动标注了命名实体,并使用BIO2(Beginning- Inside-Outside)标注方案对命名实体进行分类。实体类别包括人物(Person)、组织(Organization)、地点(Location)等。

smile_sundays的博客 5312

手把手教你学Simulink——无刷直流电机(BLDC)霍尔传感器(Hall Sensor)信号处理电路仿真

在中,转子位置靠​ 给出,换相逻辑(Commutation Table)据此决定。实际霍尔输出是,且常有:比较迟滞(内置或外加分压)RC 低通(防 EMI 尖刺)与 MCU 间想让你霍尔三相 UVW 理想方波(120° each, 换相每 60°elec)经观察:原始 HU/HV/HW、滤波后波形、整形后 TTL 电平验证换相表(001→100→010…)与转子转向匹配是破局关键。

amy_mhd的博客 39

Prompting ChatGPT in MNER: Enhanced Multimodal Named Entity Recognition with Auxiliary Refined Knowl

社交媒体上的多模态命名实体识别(MNER)旨在通过融合基于图像的线索来增强文本实体预测。现有的研究主要集中在最大化相关图像信息的利用或将外部知识从显式知识库中融入。然而,这些方法要么忽视向模型提供外部知识的必要性,要么遇到检索到的知识中高度冗余的问题。本文提出了PGIM,这是一个两阶段的框架,旨在利用ChatGPT作为隐式知识库,并使其能够启发式地生成辅助知识以实现更高效的实体预测。具体而言,PGIM包括一个多模态相似示例感知模块,从少量预定义的人工样本中选择合适的示例。

SORYU1111的博客 1842

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)

2022年8月发布的Stable Diffusion基于Latent Diffusion Models,专门用于文图生成任务。总之,读的论文越多,博客内相关笔记的质量将飞速提升 自己的技术研究能力也能有巨大飞跃。且考虑到为避免上篇文章篇幅太长而影响完读率,故把这100论文的清单抽取出来独立成本文。// 23年2.27日起,本榜单几乎每天更新中。

结构之法 算法之道 3万+

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Visual chatgpt多模态大模型的前菜

visual chat将会是多模态大模型一个过渡态,Gpt4以及他的后代一定会用集成电路的模式取代这个分立元器件组成的通用多模态模式。但是它的很多思路是值得我们学习的。

liangwqi的博客 5836

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

ChatGPT实现命名实体识别(NER, named entity recognization)和词性归类

识别这段文本中的命名实体和词性分类:毛泽东指挥中央红军三个月的时间六次穿越三条河流,转战川贵滇三省,巧妙地穿插于国民党军重兵集团围剿之间,不断创造战机,在运动中大量歼灭敌人,牢牢地掌握战场的主动权,取得了红军长征史上以少胜多,变被动为主动的光辉战例。令人惊讶的是,ChatGPT 可以直接识别出"红军长征"是一个事件名,而没有当做一个主谓结构的词组。ChatGPT 同时给出了 spacy 源代码,以及实际可能的输出结果,并都用代码框高亮显示出来。* 三个月的时间:名词短语,作时间状语。

shiyunzhe2021的博客 1732
上一篇: MSA+抑郁症模型总结
下一篇: 从创建 GitHub 项目到推送代码:Git 命令行操作全流程
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值