让机器来洞察他的内心!

LLM+上下文工程:提示工程架构师揭秘智能客户洞察的下一代技术范式 上下文工程与提示工程架构师。我们要解决什么问题?(比如“提取客户对产品的潜在需求”“预测 churn 并说明原因”);需要哪些数据?(比如“客户聊天记录”“历史购买记录”“支持 tickets”)。例子:如果业务目标是“提取客户对T恤的潜在需求”,那么需要的数据是“客户关于T恤的聊天记录”“历史购买的T恤尺码/款式”“社交媒体上关于T恤的评论”。我是一名资深软件工程师,专注于LLM应用开发,拥有5年以上的客户洞察系统设计经验。我擅长用通俗易懂的语言,拆解复杂的技术概念,帮助企业用LLM解决实际问题。 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

需要本文的详细复现过程的项目源码、数据和预训练好的模型可从该地址处获取完整版:地址

洞察你的内心:你真的这么认为吗? 在这里插入图片描述 随着用户生成的在线视频的指数级增长,多模态讽刺检测最近引起了广泛的关注。讽刺通常通过多种言语和非言语暗示来表达,例如语气变化、单词过分强调、音节拖长或表情严肃。 最近讽刺检测方面的大部分工作都是在文本数据上进行的。尽管取得了重大进展,但仍然存在两个主要挑战:

以前的工作主要依赖于词级特征交互来建立模态间和模态内之间的关系,这可能会导致基本情感信息的丢失; 他们仅获得与文本模态交互的不一致信息,这可能导致对不一致的忽略。 为了解决这些难点,我提出了一种用于多模态讽刺检测的新型话语级不一致学习网络,其中多模态话语级注意力和不一致学习网络是两个核心模块。首先,M-ULA 与话语级多模态信息交互,补充单词级特征。 此外,ILN 自动选择主要模态和辅助模态,并利用交叉注意力和自注意力来学习不一致的表示。 同时,我在流行的多模态任务–多模态讽刺的数据集–MUStARD 上对模型进行了测试,得到了不错的效果,证明了该模型的可靠性。 在这里插入图片描述 一、研究背景 讽刺是一种复杂的语言表达形式,其预期含义常常与字面解释形成对比。 这种隐含的情感表达给情感分析和意见挖掘等自然语言处理任务带来了重大挑战。 以前的讽刺检测方法主要关注分类任务的文本模态。 然而,用户生成的在线视频的激增为多模式讽刺检测带来了机遇和挑战。 另外,多模态情感特征提取仍然是一个具有挑战性的问题。 首先,仅仅依靠词级特征不足以捕捉模态之间复杂的相互作用。 其次,在任意的跨模态和模内模态上可能会出现不一致的信息。 因此,仅用其他方式从文本中探索不一致信息可能会导致全面不一致信息的丢失。 在这里插入图片描述 二、模型结构和代码 在这里插入图片描述在这里插入图片描述 如上图所示,提出的用于多模态讽刺检测方法的话语级不一致学习网络由三层组成。 对于话语级特征提取层,为了从模态内和模间间捕获更丰富的有效信息,首先使用单模态编码器和话语级注意力分别获取文本、音频和视觉特征。 然后,利用多模态话语级注意力(M-ULA)来获取交互的融合特征。 对于不一致学习网络层,首先需要确定主要模态,然后采用交叉注意机制来捕获不一致信息,最后采用自注意机制来获取增强的不一致信息。 对于预测层,通过 softmax 分类器预测多模态讽刺标签。

  1. 话语级特征提取 a) 单模态特征提取:该模块包括三个主要功能:词元级单模态特征提取、对齐以及话语级特征表示。对于文本模态,采用预训练的BERT-base模型将输入的文本词元编码为词嵌入。对于音频和视觉模态,参考之前的工作,利用长短期记忆网络(LSTM)提取初始特征,其表示为: 在这里插入图片描述在这里插入图片描述

  2. 模态重建模块 提出了一个模态重建(MR)模块,基于这样一个关键观点:从提取的模态序列中重建完整的模态序列,可以引导提取模块学习缺失部分的语义。对于每种模态,首先在特征维度上执行自注意力机制,以捕获提取特征之间的交互。 在这里插入图片描述 . 融合模块 在重建损失的指导下,通过补充模态信息增强不完整的模态序列后,将它们融合为一个联合向量用于情感预测。提出了一个CNN门控编码器,用于分别编码增强的模态序列Hm; 在这里插入图片描述

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

其中,h m​ 表示模态m的隐藏维度。 三个模态表示的连接被视为融合结果,并输入到一个简单的分类器中,以进行情感强度的最终预测: 在这里插入图片描述 其中,BN表示批量归一化操作,LeakyReLU作为激活函数使用。Token级别的特征交互可能会导致遗漏关键信息。因此,使用话语级注意力(ULA)来学习单模态的独特特性。然而,单模态的ULA模块只能探索单个模态内部的关系。将单模态特征作为输入,得到的话语级特征表示为: 在这里插入图片描述在这里插入图片描述在这里插入图片描述

在这里插入图片描述在这里插入图片描述

在这里插入图片描述在这里插入图片描述

在这里插入图片描述 D. 不一致性学习网络 a) 主要模态选择:为了评估模态不一致性,首先需要确定主要模态。参考文献[17],根据每种模态对讽刺检测的贡献自动分配权重值,贡献越高,权重值越高。在每个训练批次中更新权重值,同时保持所有可训练权重值的总和为1。 b) 通过交叉注意力进行不一致性学习:为了从主要模态和辅助模态中获取不一致性信息,利用交叉注意力(CMA)机制获取交互后的辅助模态: 在这里插入图片描述

c) 通过自注意力进行不一致性学习:将交互后的主要模态$ \tilde{P}{\tilde{A}1}, \tilde{P}{\tilde{A}2} 和和 \tilde{P}{\tilde{A}3} $进行拼接,然后利用自注意力(SA)机制识别其显著成分,作为最终的主要模态表示: 在这里插入图片描述

E. 多模态讽刺分类 多模态讽刺检测任务旨在预测标签y∈{讽刺,非讽刺}因此,最终的句子级不一致性表示通过一个带有Softmax激活函数的全连接层来生成在多模态讽刺决策空间中的概率分布y: 在这里插入图片描述

三、数据集介绍

  1. 多模态讽刺数据集:

MUStARD: 该数据集包含 690 个话语(345 个讽刺示例和 345 个非讽刺示例),这些话语源自著名电视节目,例如《老友记》、《生活大爆炸》、《黄金女郎》和《讽刺狂》。 实验数据集的详细统计数据如表一所示。 在这里插入图片描述 四、性能展示

在这里插入图片描述 五、实现过程 在下载附件并准备好数据集并调试代码后,进行下面的步骤,附件已经调通并修改,可直接正常运行;

  1. 数据集准备 附件中 data/sarcasm_data.json是已经标记好的讽刺标签 以下是执行上述任务的详细步骤:

  2. 下载预训练的 GloVe 词向量(Common Crawl, 300d, 840B tokens): 下载链接在附件中readme.md;

  3. 下载预提取的视觉特征并放置到 data/ 文件夹下: 你需要确保将视觉特征下载并解压到 data/features/ 文件夹中,使其包含 context_final/ 和 utterances_final/ 这两个子文件夹;

  4. 下载预提取的 BERT 特征并放置到 data/ 文件夹下:

  5. 你需要确保下载到的文件包括以下两个文件:

<span style="background-color:#f8f8f8"><span style="color:#333333">data/bert-output.jsonl
data/bert-output-context.jsonl</span></span>

你可以将这两个文件直接放在 data/ 文件夹下

  1. 运行 在命令行中运行 python train_svm.py -h 查看可选项,以选择运行配置(或者可以修改 config.py),然后运行该脚本:

<span style="background-color:#f8f8f8"><span style="color:#333333">python train_svm.py <span style="color:#0000cc">-h</span></span></span>

根据查看到的选项,你可以选择适合的运行配置并执行。 完成上述步骤后,你的环境应该已经正确配置,可以继续运行模型或进行其他实验了。

六、运行过程 在这里插入图片描述

注意:需要本文的详细复现过程的项目源码、数据和预训练好的模型可从该地址处获取完整版:地址

 ​​

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

让机器来洞察他的内心! 其次,在任意的跨模态和模内模态上可能会出现不一致的信息。同时,我在流行的多模态任务–多模态讽刺的数据集–MUStARD 上对模型进行了测试,得到了不错的效果,证明了该模型的可靠性。b) 多模态特征提取:该模块的主要任务是学习模态间的复杂关系,交互多模态信息,并通过多模态ULA获得融合的特征表示。 阅读详情

相关推荐

洞察力的培养:冥想与mindfulness的作用

洞察力的培养:冥想与Mindfulness的作用 关键词 冥想 Mindfulness 心理健康 生理健康 人工智能 神经网络 机器学习 数学

AI天才研究院 1218

【论文复现】让机器来洞察他的内心

多模态讽刺数据集:MUStARD: 该数据集包含 690 个话语(345 个讽刺示例和 345 个非讽刺示例),这些话语源自著名电视节目,例如《老友记》、《生活大爆炸》、《黄金女郎》和《讽刺狂》。实验数据集的详细统计数据如表一所示。

2201_75366661的博客 904

利用腾讯云轻量服务器快速搭建网站CDN

腾讯云的轻量最近在主机和站长中间可谓是占尽来风头,优秀的线路,低廉的价格使得越来越多的人开始使用腾讯云的轻量级服务器来部署应用。由于腾讯云轻量服务器的海外服务器电信走的是CN2GIA线路带宽30m挺适合做CDN的,我就记录一下如何利用腾讯云香港的轻量服务器搭建一个CDN。 购买服务器 首先选购服务器,最近腾讯云在做活动,力度很大国内备案用户可以选用国内的服务器最低128元/年,未备案的可以选用香港或者新加坡的服务器。 购买链接 服务器系统选Debian、Ubuntu、centos都可以 一键脚

demo_top的博客 2566

直播报名|如何洞察消费者痛点?大数据分析为您支招!

背景介绍 随着互联网的不断发展,消费者的消费习惯和需求也在发生潜移默化的变化。消费者从单纯关注产品的质量和价格逐渐转变为关注产品的差异性以及购买产品时的体验感。然而,许多企业仍旧只是停留在业务表面,没有深入了解消费者的核心痛点,这就为以后的获客难、留客难埋下了伏笔。如何真正以消费者为中心,深入消费者内心,这是消费者自我需求认知不断提升的过程,同时也是企业从“品牌和产品为核心”逐步转型为“消费者为核心”战略决策的过程。 要洞察消费者痛点,真正了解其需求,就要深入挖掘消费者反馈数据,从海量信息中提炼有价值的

Stratifyd_AI的博客 603

MYSQL、ORACLE、PostgreSQL数据库对象层次及权限管理对比

本文为出于自己扩展、比较、图形化的思维路径自行总结归纳,可能有些细节不太准确,欢迎指正。MySQL、Oracle、PostgreSQL关系型数据库都有管理员用户、用户、权限管理、表函数索引等数据库对象,schema。但在数据库对象隶属层次上有差异和相同的地方。

rachel_2016的博客 1490

单片机控制双向可控硅的5种实用触发电路设计(附完整电路图)

本文深入解析了单片机控制双向可控硅的5种实用触发电路设计,涵盖从基础隔离到复杂负载驱动的实战方案。重点探讨了光电耦合器选型、过零检测同步、RC吸收电路精密计算以及应对感性负载和高噪声环境的加固策略,并提供了完整的电路图与调试避坑指南,旨在帮助开发者实现安全可靠的交流负载控制。

joy55的博客 2227

【五大机器学习经典算法,一起跟随浙大开启智能未来!】

在这个知识更新迭代的浪潮中,你是否面临着人工智能的飞速冲击、就业市场的无形挑战以及被淘汰的压力:职业焦虑,Al是否会取代我的工作?学习费劲,知识迭代太快,好不容易跟上却已过时?键盘敲的冒火星,AI 自动化仅需5分钟消费降级,升职加薪难上加难内心的焦虑像潮水般涌来。

Mo 的博客 533

Spring Boot应用Docker化实战:从Dockerfile编写到镜像推送完整流程

本文详细介绍了将Spring Boot应用Docker化的完整实战流程。从环境准备、项目审视,到编写高效且安全的Dockerfile,重点讲解了多阶段构建、镜像层优化、Spring Boot分层JAR等核心技巧,并涵盖了镜像构建、验证、调试以及最终推送至仓库并集成CI/CD的最佳实践,帮助开发者构建生产级Docker镜像。

butter的博客 1024

前沿技术趋势洞察:2024年技术的崭新篇章与未来走向!

未来的世界,不再是单纯由技术驱动的,它需要我们每个人在追逐创新的同时,也要保持对社会伦理、个人价值的深刻思考。在人工智能(AI)越来越强大的今天,我们不再停留在幻想阶段,量子计算的雏形开始展示它的无穷潜力,Web 3.0的去中心化理念也在不断改变着我们对互联网的认知。在过去的一年,我深刻体验了这一切,或许有过惊喜,有过迷茫,也有过期待,但每一份感受都让我对未来充满了更多的探索和热情。在我自己日常使用AI与区块链技术的过程中,我时常感到,技术的每一步进步,都在不断挑战我们对“人类”和“机器”的定义。

喵手的博客 2552

MaPLe: Multi-modal Prompt Learning

具体而言,我们在语言分支中附加可学习的上下文标记,并通过耦合函数显式地将视觉 Prompt 置于语言 Prompt 上,以建立它们之间的交互。使用 Prompt 来适应CLIP (语言或视觉) 的单个分支中的表示是次优的,因为它不允许在下游任务上动态调整两个表示空间的灵活性。由此,提出了一种分支感知的多模态 Prompt,通过在两种模态之间共享提示来协调 CLIP 的视觉和语言分支。在 Prompt Tuning 中,必须采取多模态方法获得同时适应 CLIP 的视觉和语言分支,以实现上下文优化的完整性。

weixin_48907099的博客 1055

基于Python的SEC Edgar文件高效爬取:最新技术与实战指南

本文详细介绍了如何使用Python最新技术高效爬取SEC Edgar数据库中的金融文件。我们将探讨SEC Edgar系统的结构、合法爬取注意事项,并使用现代Python库如Requests-HTML、aiohttp和Playwright实现多种爬取方案。文章包含完整的代码示例、性能优化技巧以及数据处理方法,为金融数据分析师、研究人员和开发者提供全面指导。关键词:SEC Edgar、Python爬虫、金融数据、异步爬取、Playwright、XBRL解析。

2201_76125261的博客 635

从电商指标洞察到运营归因,只需几句话?AI 数智助理准备好了!

除此之外,电商运营人员也可以利用 Copliot 提问有关拉新、转化、留存、复购一系列问题。Kyligence Copliot 直接对接元数据,让电商运营业务人员无需代码能力也能自助完成用户忠诚度管理以及渠道效果监控分析,即时并快速地调整优化业务,赋能业务增长,提升用户留存。除了电商行业以外,Kyligence Zen 还提供电商、零售、制造、金融等行业的指标模板供大家体验。

Kyligence 229

PyCharm 接入 OpenAI Codex CLI 的 4 步配置与调试实录

揭示 Codex CLI 在 PyCharm 中上下文失稳的四大根源:CLI 启动模式与 IDE 进程模型冲突、stdin/stdout 流式处理不兼容、环境变量污染、AST 注释缺失,并给出基于 Shell 脚本桥接与结构化上下文注入的稳定接入方案。

weixin_42627902的博客 378

快速读懂python代码_python助你快速读懂文字内心!

将永恒君的百宝箱设为星标 精品文章第一时间读我们都有这样的感受,在一大段的文字当中出现频率比较多的词汇有很大的可能就会是这一段文字的核心内容。抓住了核心的内容,方便我们更有侧重的去进行下一步的操作。今天永恒君就来介绍这样一个python的实例。有位做电商的小伙伴,希望观察买家的留言、评论,找出大多数买家们对产品的总体评价,以便后续进行改进。因为隐私的原因,永恒君直接以某东的商品为例吧~~1、事先爬...

weixin_39599046的博客 337

2026华为OD机试(JAVA&Go)真题【E卷+A卷+B卷+C卷+D卷】目录+在线OJ

华为OD机试真题题库【E卷+A卷+B卷+C卷+D卷】目录,Java实现。

MISAYAONE的博客 34万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

智慧与智能的本质区别:从 AI 研发视角的深度洞察与理论重构

现代认知科学对智慧与智能的理解呈现出科学化、系统化的特征。在认知科学、心理学和教育领域,智慧研究的共识模型认为,智慧是道德基础上的元认知应用于推理和问题解决。元认知能力和道德维度。元认知能力是指对认知的认知,即个体对自己认知加工过程的自我觉察、自我反省、自我评价与自我调节。智慧的元认知方面包括智力谦逊、观点采择、情境适应性等策略,这些策略能够帮助个体处理复杂、不确定、新颖、混乱或计算爆炸性的问题。

首席技术执行官CTO(Chief Technology Officer)|技术总监--邓斌博客 1053

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

AI写作:释放内心情感,突破思维局限,创作多彩表达

在当今信息暴跌的社会环境下,写作已然成为必要技能之一。然而,许多人写文章时却觉得苦闷而无趣。在此,推荐一种新型写作模式——AI写作,借助人工智能技术,使您的笔触更具生命力,开启趣味写作新篇章。1.挖掘内心真实感受AI 写作并非仅是机械生成,更深入人心

Xgvafdj52的博客 634

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

深度总结 | 机器智能的安全之困

简介: 小叽导读:机器智能的核心本质与基本范式到底是什么?机器智能给各个行业都带来创新变革的同时,为什么在网络安全行业的表现却一直差强人意?到底什么才是真正意义上的智能安全系统?本文希望能给整个安全行业带来一点不一样的启发,也期望能促进机器智能+网络安全这个交叉领域往正确的方向发展。 作者 | 楚安 我们终其一生,都在寻找各自的终极答案。我们无时无刻,无不希望能在自己从事的领域离真相...

阿里云开发者 4458

一个焦虑的CIO的内心独白

最近网络上流传着很多让人焦虑的事情,凌晨三点的年轻加班狗,35岁危机的华为IT男,放弃生命的万达女高管,以及输给时代的大润发董事长。焦虑开始从婚姻、房子等问题,弥漫到了工作和梦想之间,也弥漫到了我的工作上。我是Jacky,是一家中等企业的CIO。在外人看来,我从IT技术人员,一路晋升到公司CIO,年纪轻轻身居要职,也是领导器重的员工,前途无量。实际上,我最近一直在问,我的职业生涯走向哪里才是正确的...

weixin_41703116的博客 492

谈谈机器学习模型的可解释性

随着AI和机器学习的发展,越来越多的决策会交给自动化的机器学习算法来做。但是当我们把一些非常重要的决定交给机器的时候,我们真的放心么?当波音飞机忽略驾驶员的指令,决定义无反顾的冲向大地;当银行系统莫名其妙否决你的贷款申请的时候;当自动化敌我识别武器系统决定向无辜平民开火的时候;人类的内心应该是一万个草泥马飞过,大声的质问,“为什么?” 机器学习算法可以看成是如上图所示的黑盒子模型,训练数据流入黑盒子,训练出一个函数(这个函数也可以称之为模型),输入新的数据到该函数得出预测结果。关于模型的可解释性,就是

平平淡淡,戒急用忍,一生学闭嘴。 1798

今年七夕,我的机器人女友梦实现了吗?

硅谷Live /实地探访/热点探秘 / 深度探讨七夕节到了,小探作为单身汪已经在朋友圈吃狗粮吃到饱,没有男友、女友怎么办?大家要不要考虑找AI“谈个恋爱”呢,比如跟你...

weixin_42255349的博客 239

Java开发效率革命:JRebel热部署与XRebel性能洞察实战指南

热部署技术是提升Java开发效率的关键实践,其核心原理在于通过Java虚拟机代理机制,在应用运行时动态重载类文件变更,避免了传统开发中频繁重启的耗时操作。这项技术的核心价值在于极大缩短了代码修改到验证的反馈循环,为开发者提供了近乎实时的开发体验。在微服务、Web应用等需要快速迭代和联调的场景中,热部署能显著提升开发效率并保持应用运行时状态。本文聚焦于业界标杆工具JRebel及其性能分析搭档XRebel,深入解析如何通过它们实现代码的即时生效与请求的深度性能剖析,构建高效的本地开发闭环。

weixin_31061699的博客 252

数据清洗到洞察输出:Kimi K3 在数据科学工作流中的全链路实测

数据科学工作流通常被描述为"80% 清洗,20% 分析"。但在实际工作中,这个比例往往更极端——很多分析师把 90% 的时间耗在了数据格式转换、缺失值处理、重复值去重这些"体力活"上,真正有价值的洞察输出反而被压缩到了最后 10%。大语言模型的出现正在改变这一现状。2026 年 7 月发布的 Kimi K3,凭借 2.8 万亿参数、100 万 Token 上下文和始终开启的 Thinking 模式,在数据科学领域展现出独特的潜力。

sghtgjfhv的博客 548
上一篇: 融入模糊规则的宽度神经网络结构
下一篇: 【论文】命名实体识别
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值