Prompting Large Language Models with Rationale Heuristics for Knowledge-based Visual Question Answer

最新推荐文章于 2025-07-25 21:51:53 发布
最新推荐文章于 2025-07-25 21:51:53 发布
阅读量188 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM COT 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/145428465

本文是LLM系列文章，针对《Prompting Large Language Models with Rationale Heuristics for Knowledge-based Visual Question Answering》的翻译。

基于知识的可视化问答中基于理性启发式的大型语言模型

摘要

最近，大型语言模型（LLM）已被用于基于知识的视觉问答（VQA）。尽管之前的研究结果令人鼓舞，但之前的方法促使LLM直接预测答案，忽略了中间的思维过程。我们认为，现有的方法不能充分激活LLM的能力。我们提出了一个名为PLRH的框架，该框架通过基于知识的VQA的基本原理启发式来提示LLM。PLRH提示具有思维链（CoT）的LLM生成逻辑推理启发式，即中间思维过程，然后利用逻辑推理启发式来激励LLM预测答案。实验表明，我们的方法在OK-VQA和A-OKVQA上分别比现有的基线高出2.2和2.1以上。

1 引言

2 相关工作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【笔记】Prompting Large Language Models with Answer Heuristics forKnowledge-based VQA
qq_42533666的博客
04-02 966
于是作者计算了test(测试案例，也就是few-shot中的query)同其他vq对的融合特征的余弦距离，选取TopN最接近的。2.GPT-3采用了少量的学习范式，需要一些上下文中的例子来适应新的任务。因此，这些示例的选择对于模型性能至关重要。{few-shot：GPT-3只需要在推理时将任务的几个例子与作为提示的输入连接起来，并且不需要参数更新。“我们推测这些融合特征位于一个潜在的答案空间中，该空间包含给定图像-问题对的答案的丰富语义。作者将以上模型作为对比的方案，加入GPT-3的指引，验证有效性。
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
weixin_45154287的博客
10-11 342
（1）first train a vanilla VQA model on a specific knowledge-based VQA dataset without external knowledge（首先在特定基于知识的VQA数据集上训练一个VQA模型，不引入外部知识）；GPT-3： autoregressive language model（是一个自回归语言模型，用大量的语料库进行训练）answer-aware examples（与真实答案相似的例子，这里感觉就是寻找答案相关的question）
【自然语言处理】【Prompt】语言模型即知识库(Language Models as Knowledge Bases)
bqw的博客
12-12 5678
语言模型即知识库 Language Models as Knowledge Bases 一、简介 ​ 预训练语言模型在进行预训练的时候，不但能够学习到语言知识，也能学习到一些世界知识。这些世界知识，可以利用“完形填空”的方式从预训练语言模型中提取出来。后面的各种Prompt也是利用了语言模型作为知识库。相比于结构化的知识库，语言模型知识库具有很多优势：(1) 不需要schema工程(例如关系数据库的设计)；(2) 可以查询开发类别；(3) 不需要人类进行监督训练。 ​ 论文主要提出了一种称为LAMA的探针，
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 15万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
时间序列预测Python机器学习应用
木头大左的博客
07-23 1244
时间依赖性：当前值受过去值的影响。趋势性：数据可能呈现长期上升或下降的趋势。季节性：数据在固定周期内重复出现的模式。噪声：随机波动，无明显规律。
跨境支付入门～国际支付结算（风控篇）
lkf19711的博客
07-25 758
跨境支付企业的"吞金兽"：风控系统成为最大成本黑洞。这类系统需采购海量第三方数据（年费超千万），并应对国际卡组织的高额合规要求（如VISA系统年增300万美元成本）。核心防控AML（反洗钱）和CFT（反恐融资）风险，通过四阶KYC认证体系（证件核验到持续监控）和KYB企业审查（股权穿透到贸易背景验证）。采用AI检测（准确率98.7%）、知识图谱等技术，并实施分级审核策略（CDD/EDD）。风控系统需融合3000+规则引擎和机器学习模型，实现全流程监控，是跨境支付企业的生死线。
大模型开发
2302_81352523的博客
07-23 1048
AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。
统计与大数据分析与数学金融方向课程差异有哪些？如何提升职场竞争力？
LRQ2025的博客
07-23 985
统计与大数据分析和数学金融专业存在显著课程重叠（概率统计、编程、优化等），但主攻方向不同。统计侧重机器学习、大数据处理及广泛领域应用；数学金融则深入金融建模、衍生品定价等专业领域。建议新生结合兴趣（数据算法vs金融建模）与职业规划（数据科学家vs量化分析师），利用大一大二共同基础课程进行体验后选择。两个专业基础课高度相似，扎实掌握数学与编程核心能力是关键。
人工智能与交通：智能出行的变革与突破
一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！
07-25 709
AI 驱动的智能交通不仅是技术升级，更是对城市空间、能源利用、社会分工的全面重构。从自动驾驶解放人类的驾驶时间，到智能调度让城市告别拥堵，再到绿色交通助力碳中和，每一项进步都在重新定义 “出行” 的意义 —— 从 “必要的负担” 变为 “高效、安全、愉悦的体验”。实现这一愿景需要技术突破、法规创新、社会协同的多方努力。当技术足够成熟、法规足够清晰、公众足够信任时，智能交通将成为 “未来城市” 的血管系统，支撑起更高效、更公平、更可持续的人类生活方式。
[2025CVPR]ViKIENet：通过虚拟密钥实例增强网络实现高效的 3D 对象检测
hasakie的博客
07-22 1154
ViKIENet论文摘要：ViKIENet提出一种高效的多模态3D物体检测框架，通过虚拟关键实例（VKIs）解决LiDAR点云稀疏性和传统虚拟点方法的高计算噪声问题。其核心创新包括：1）语义关键实例选择（SKIS），仅提取关键区域的虚拟点，减少90%计算量；2）多阶段融合模块（VIFF），结合BEV与RoI特征增强关键区域；3）深度校准模块（VIRA），抑制深度补全噪声。扩展版ViKIENet-R引入旋转等变特征，平衡精度与效率。实验显示，在KITTI、nuScenes等数据集上，ViKIENet以22.7
动手学深度学习2.0-李沐Pytorch版
qq_43361801的博客
07-24 301
教材的pdf我已经上传到资源啦！动手学深度学习在线课程。
Mamba（SSM、S4、S4）
BigGod139的博客
07-23 841
状态空间模型SSM，20世纪60年代有卡尔曼等研究者提出，概念很在提出。连续SSM一般形式如下：State Equation：x′(t)=Ax(t)+Bu(t)x'(t) = Ax(t) + Bu(t)x′(t)=Ax(t)+Bu(t) 其中：Output Equation：y(t)=Cx(t)+Du(t)y(t) = Cx(t) + Du(t)y(t)=Cx(t)+Du(t) 或 y(t)=Cx(t)y(t) = Cx(t)y(t)=Cx(t) 其中：离散SSM一般形式如下：与连续SSM相比，x,t,u,
基于卷积神经网络与小波变换的医学图像超分辨率算法复现
AI的内部世界的博客
07-22 1323
本文提出了一种结合卷积神经网络、小波变换和自注意力机制的医学图像超分辨率算法。网络采用编码器-解码器结构，核心模块是残差小波注意力块(RWAB)，通过小波分解处理多频特征，并引入通道注意力机制增强特征表达能力。自注意力模块用于捕捉全局依赖关系，损失函数结合L1损失和感知损失。实验结果表明，该方法能有效提升医学图像分辨率，保留重要细节信息。文章详细介绍了网络结构和关键模块的PyTorch实现，包括小波变换层、通道注意力机制和自注意力模块等核心组件的代码实现。
AI日报 - 2025年07月25日
NingboWill的博客
07-25 1038
AI人工智能日报新闻和最新AI工具
基础NLP | 常用工具
xhxhss的博客
07-24 134
“鱼书”深度学习入门 笔记（1）前四章内容
y1456505611的博客
07-22 795
基本规则如下图：下面是一个完整的表达：所以，考虑到矩阵的乘法运算，可以将第1层的加权和表示如下，进行数组计算时一定要注意维度的问题：对于分类问题，输出层的神经元数量一般设定为类别的数量。
机器学习中knn的详细知识点
最新发布
2302_76568160的博客
07-25 275
K 最近邻（K-Nearest Neighbors, KNN）是一种基于实例的监督学习算法，适用于分类和回归任务。其核心思想是通过计算新样本与训练集中样本的距离，选取最近的 K 个邻居，根据这些邻居的类别或值进行预测。
SLAM学习资料记录
m0_53713033的博客
07-23 309
对极几何、PnP、ICP ：https://blog.51.cto.com/u_13157605/6039293。融合知识：https://zhuanlan.zhihu.com/p/667506476(李帅)源码下载地址：https://github.com/MichaelGrupp/evo.git。ros消息：https://zhuanlan.zhihu.com/p/664398276。ORB_SLAM2 创建自己的数据集（还未使用）多传感器融合定位（csdn 是安澜啊；
非参数密度函数估计(1)
gongdiwudu的专栏
07-25 586
非参数密度估计是一种估计随机变量概率密度函数的方法，无需假设分布的特定函数形式与需要选择特定分布（如正态分布或指数分布）的参数方法不同， 非参数方法直接从数据中估计密度，这使得它们更灵活但可能更复杂。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
03-09
### Chain-of-Thought Prompting Mechanism in Large Language Models In large language models, chain-of-thought prompting serves as a method to enhance reasoning capabilities by guiding the model through structured thought processes. This approach involves breaking down complex problems into simpler components and providing step-by-step guidance that mirrors human cognitive processing. The creation of these prompts typically includes selecting examples from training datasets where each example represents part of an overall problem-solving process[^2]. By decomposing tasks into multiple steps, this technique encourages deeper understanding and more accurate predictions compared to traditional methods. For instance, when faced with multi-hop question answering or logical deduction challenges, using such chains allows models not only to generate correct answers but also articulate intermediate thoughts leading up to those conclusions. Such transparency facilitates better interpretability while improving performance on various NLP benchmarks. ```python def create_chain_of_thought_prompt(task_description, examples): """ Creates a chain-of-thought prompt based on given task description and examples. Args: task_description (str): Description of the task at hand. examples (list): List containing tuples of input-output pairs used for demonstration purposes. Returns: str: Formatted string representing the final prompt including both instructions and sample cases. """ formatted_examples = "\n".join([f"Input: {ex[0]}, Output: {ex[1]}" for ex in examples]) return f""" Task: {task_description} Examples: {formatted_examples} Now try solving similar questions following above pattern. """ # Example usage examples = [ ("What color do you get mixing red and blue?", "Purple"), ("If it rains tomorrow, will we have our picnic?", "No") ] print(create_chain_of_thought_prompt("Solve logic puzzles", examples)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值