- 博客(430)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 A Causal Framework to Quantify the Robustness ofMathematical Reasoning with Language Models
许多自然语言理解任务，例如理解财经新闻，涉及需要用到数字的推理。然而，这类数学推理对于自然语言处理（NLP）模型来说是一项挑战（Cobbe等，2021；Mishra等，2022b）。数学推理已经成为一个活跃的研究领域（Seo等，2015；Sachan和Xing，2017；Sachan等，2017，2018等），并且也已成为衡量大规模语言模型（LLMs）能力的关键任务（Brown等，2020；Ouyang等，2022；Wei等，2022a等）。
2025-04-02 17:47:08
3
原创 Causal Effect Inference withDeep Latent-Variable Models
理解具有特征 X 的干预 t 对个体的因果效应是多个领域的一个基本问题。例子包括了解药物对患者健康的影响，或教学方法对学生毕业机会的影响。随着医疗保健和教育等领域大型数据集的出现，人们对从观测数据中推断个体层面因果效应的方法开发产生了浓厚兴趣 [42, 53, 25, 31]。从观测数据推断因果关系最重要的方面是混杂因素（confounding）。同时影响干预和结果的变量被称为干预对结果效应的混杂因素。例如，社会经济地位会影响患者获得的药物以及患者的总体健康状况。
2025-03-28 20:54:32
64
原创 LLM模型微调方法
Freeze 方法即参数冻结，通过冻结原始模型的大部分参数，仅训练少部分参数，大幅减少显存占用，从而实现对大模型的微调。该方法实现简单，在代码中只需设置需要微调的层的参数。例如，可通过循环遍历模型参数，依据层名判断是否冻结，如冻结除特定层（如 “layers.27”“layers.26” 等）之外的参数 ，使得模型训练时仅特定层参数参与更新。如此，模型训练时仅特定层参数参与更新。近期研究还发现，冻结底层参数可显著缓解 “虚假遗忘” 现象。
2025-03-28 17:11:20
43
原创 多模态大模型的基础模块
Qformer（Querying Transformer）源自 BLIP - 2 论文，目标是高效对齐冻结的单模态模型，本质上是一种软连接或翻译器。通过两阶段预训练，在第一阶段进行表示学习，将 Image Embeding 转化为与文本最相关的视觉特征表示；第二阶段进行生成学习，使 LLM 可以根据 Qformer 提取的视觉特征表示，生成自然的语言。
2025-03-25 21:30:58
177
原创 Causal-IQA: Towards the Generalization of Image QualityAssessment Based on Causal Inference
如图 2 所示，我们方法的基本思想是基于因果学习来学习畸变不变和内容不变的表示。整个框架由三个阶段组成。给定来自合成畸变图像数据集的参考图像，我们首先在阶段 1 中基于混杂因素构建样本子集：将具有相同畸变类型的图像收集到相同的样本子集中。由于 IQA 数据集中内容标签不可用，我们在提取由预训练骨干（ResNet18（He 等人，2016）选择的语义特征后，利用高斯混合模型（GMM）（Do & Batoglou，2008）进行聚类，为后续的训练过程做准备。
2025-03-25 12:51:11
306
原创 Causality Based Front-door Defense AgainstBackdoor Attack on Language Models
一段文本Z是输入X和预测标签Y的受害模型的前门变量，Z满足以下条件：其中E(x)表示所有与x语义等价的文本集合。注意，方程3表明X和Z在语义上是等价的，而方程4则表明X和Z具有相同的预测Y。我们认为上述定义的Z满足前门标准。方程3保证了X和Z之间的强相关性。与此同时，方程4保证了Z存在于X与Y相关的每一条路径上。
2025-03-24 14:39:01
224
原创 Learning Causal Domain-Invariant Temporal Dynamics forFew-Shot Action Recognition
动作识别一直是一个重要且富有成效的研究领域。例如，Xing等人（2023）、Ahn等人（2023）、Zhou等人（2023）和Zhang等人（2023）在学习大规模标签的动作表示方面取得了很好的成果。然而，当面临少样本学习的挑战时，这些监督学习方法可能会遇到困难，尤其是当新类别的样本数量有限，且与预训练数据存在显著的分布差异时。一是识别可迁移的、时间上不变的知识，这些知识可以直接应用于新数据；二是优化不可迁移的、时间上可变的知识，以便快速适应新情境。
2025-03-23 21:37:32
46
原创 MOE框架详解与实现
MoE 是一种将多个子模型（专家）结合的技术，用于提升大语言模型（LLMs）性能。它主要由稀疏 MoE 层和门控网络（路由）组成。
2025-03-23 17:12:09
50
原创 使用LangChain开发智能问答系统
现在你已经成功安装并配置了Neo4j社区版，并且可以使用Python导入的数据。如果需要修改密码，可以在Neo4j的浏览器界面中进行修改。Cmd在对应的虚拟环境下输入npm run serve。
2025-03-22 21:33:34
396
原创 Weak Reward Model Transforms Generative Models intoRobust Causal Event Extraction Systems
因此，
2025-03-18 23:17:30
28
原创 LLAMA3技术原理
这些数据的来源丰富多样，并且经过了精心的筛选和配比。具体的数据构成比例为：50% 的常识知识类数据、25% 的数学与推理类数据、17% 的代码相关任务数据以及 8% 的多语言数据。随着迭代次数的增加，DPO 模型的性能不断提升，RS 阶段能够选出的答案质量也随之提高，进而使得 SFT 模型的性能得到持续优化，形成了一个良性的正反馈循环。随着序列长度增加，位置编码的维度会变得越来越复杂，并且对于远距离的位置，正弦和余弦的变化会变得模糊，导致模型难以有效地捕捉远距离位置之间的依赖关系。
2025-03-18 17:26:57
143
原创 Mitigating Language Bias of LMMs in Social Intelligence Understandingwith Virtual Counterfactual Ca
社会智能对于理解复杂的人类意图和社会互动至关重要，它已经成为近年来自然语言处理（NLP）和多模态领域中的一个新兴领域。为了评估现有机器学习模型的社会智能，已经提出了一些问答（QA）基准数据集。包括Social-IQ-2.0（Wilf等，2023），这是一个包含多模态输入（视频、音频和字幕）的多项选择QA数据集。然而，现有的研究通常使用较小的模型，利用模态特征对齐或外部知识的利用（Xie和Park，2023）。基于大型多模态模型（LMMs）进行社会智能的研究仍然相对欠缺。
2025-03-13 15:47:39
33
原创 多模态大模型
在评估时，模型先在 held - in 数据集上进行微调，学习特定任务和数据模式，然后在 held - out 数据集上进行测试，处理未见过的数据和任务。常用的评估指标包括准确率，即模型正确回答的问题数量占总问题数量的比例，直观反映模型在封闭集任务上的正确性；CIDEr 分数用于评估图像描述任务中模型生成文本与参考文本的相似程度和相关性，衡量生成文本的质量和信息丰富度。
2025-03-12 22:11:03
153
原创 LLMs Are Prone to Fallacies in Causal Inference
因果推理在智能中起着至关重要的作用，它使我们能够构建世界模型并基于因果效应关系做出稳健的预测。最近的研究（如Kıcıman等，2023年）表明，GPT-4在各种因果推理和因果发现任务中优于现有方法。然而，尚不清楚这种成功是否来自于大语言模型记忆的明确提到的因果事实（例如，来自维基百科的“吸烟导致癌症”），或者它们能够推断出未见过的因果关系（例如，来自医学期刊的实验数据）。为了探索记忆的因果事实与推断的因果关系之间的区别，我们调查了大语言模型是否能够从其他关系数据中推断因果关系，例如时间、空间和反事实关系。
2025-03-12 16:02:11
35
原创 Images Speak Louder than Words: Understanding and Mitigating Bias inVision-Language Model from a Ca
视觉-语言模型在分类（Li et al., 2021;Radford et al., 2021）、图像搜索（Sun et al., 2023;Radford et al., 2021）、目标检测（Kuo et al., 2023;Li et al., 2022）等任务中展现了出色的表现。通过在大规模图像-文本对数据集上进行训练，这些模型能够理解跨模态图像特征和语言特征之间的对应关系。尽管在零-shot学习中展现了良好的能力（Radford et al., 2021;
2025-03-11 11:03:16
22
原创 Teaching Small Language Models Reasoning throughCounterfactual Distillation
大型语言模型（LLM），如GPT-3，在各种下游任务中表现出色，包括通过链式思维（CoT）进行问题解答。CoT鼓励模型在解决问题时生成中间推理步骤。尽管LLM取得了成功，但由于模型大小的限制，其能力仍然受到约束，特别是在应用到分布外（OOD）示例时。此外，基于提示的CoT技术对于非常大的模型非常有效，而较小的模型由于涉及的推理过程复杂，往往难以执行此类任务。小型语言模型（SLM）在资源效率上具有优势，但在模仿大型模型的推理能力方面面临挑战。现有的蒸馏方法使用LLM生成的CoT来训练小型模型。
2025-03-05 15:18:39
255
原创 CELLO : Causal Evaluation of Large Vision-Language Models
因果推理被认为是人类智能的基本组成部分（Penn and Povinelli, 2007；近年来，大型语言模型（LLMs）在视觉语言任务中的成功应用推动了这一领域的研究，从而开发出强大的视觉语言模型（LVLMs）。这些LVLMs真的理解因果关系吗？以往的研究大多集中在视觉语言背景下事件和/或行为之间的常识因果性（Zellers et al., 2019；Kim et al., 2022），但往往忽视了人与物体之间、人与人之间以及物体与物体之间的细粒度因果关系。
2025-03-03 20:50:43
293
原创 大模型分布式训练和优化
随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。因此，设计分布式训练（Distributed Training）系统来解决海量的计算和内存资源需求问题变得至关重要。分布式训练是指这些计算设备可以是中央处理器（CPU）、图形处理器（GPU）、张量处理器（TPU）或神经网络处理器（NPU）。
2025-03-03 20:49:36
57
原创 因果推断与机器学习—特定领域的机器学习
推荐系统分类推荐系统一般可分为基于显式反馈的推荐系统和基于隐式反馈的推荐系统基于显式反馈的推荐系统在这种推荐系统中，用户对物品的评分被当作标签。用一个矩阵来表示用户对物品的评分，其中表示用户u对物品i的评分，表示用户未对物品进行评分。基于显式反馈的推荐系统的目标是，训练能够准确预测用户对某个尚未有交互的物品的评分的机器学习模型，从而可以按预测的评分，从高到低地向用户推荐其可能感兴趣的物品。另外，我们可以用对评分预测的准确性来评价一个推荐系统的表现。
2025-02-10 17:44:18
213
原创 因果推断与机器学习—因果表征学习与泛化能力
近十年来，深度学习在多个领域取得了巨大成功，包括机器视觉、自然语言处理、语音识别和生物信息等。这些成功为机器学习技术的进一步发展和应用奠定了基础。表征学习是深度学习的核心技术之一。在机器学习问题中，其主要目的是从观测到的低级变量中提取信息，进而学习到能够准确预测目标变量的高级变量。这种从低层次到高层次变量的学习过程，有助于模型更好地理解数据和进行预测。以德国马克斯 - 普朗克研究所的 Bernhard Schölkopf 和加拿大蒙特利尔大学的图灵奖获得者 Yoshua Bengio 及其团队为代表。
2025-02-05 12:37:57
348
原创 因果推断与机器学习—可解释性、公平性和因果机器学习
目前常用的公平性定义大致可分为三类：意识公平性、统计公平性和因果公平性。因果公平性不仅仅依赖于观测数据的分析，还需要建立在因果假设和因果图的基础上，以便进行干预(intervening)和展开反事实想象(imagining)。目前主要基于 do 操作来定义因果公平性。
2025-02-05 12:37:21
356
原创 因果推断与机器学习—用机器学习解决因果推断问题
Louizos 等人根据特定的因果图(图 2.7)提出了一个深度隐变量模型。该因果图中，隐变量2同时也是混淆变量，观测到的协变量X是Z的一个后代，这使得在可忽略性假设不成立的情况下也能识别条件因果效应:在文献[48]中，Louizos 等人根据如图 2.7所示的假设的因果图，提出了一个深度隐变量模型。
2025-01-31 22:29:41
734
1
原创 因果推断与机器学习—因果推断入门（1）
设 X 和 Y 是两个随机变量。定义 X 是 Y 的因，即因果关系 X→Y 存在，当且仅当 Y 的取值会随着 X 的取值变化而变化。若要更好地理解定义 1.1，需要知道因果关系是用来描述数据生成过程（data generating process，DGP）的。我们说 X 是 Y 的因，就是在说 X 是影响 Y 的生成过程的一个因素。如果改变了 X 的值，再用新的 X 来生成一次 Y，那么 Y 的值就会改变。举个例子，我们知道对一家餐厅的评价会影响它的销量。
2025-01-31 22:18:07
837
原创 Causal Inference for Leveraging Image-TextMatching Bias in Multi-Modal Fake NewsDetection
社交媒体的快速发展为虚假新闻的产生和传播提供了便捷渠道，并带来了诸多不良后果。为了减轻虚假新闻的负面影响，自动化的虚假新闻检测变得尤为重要。随着多媒体技术的发展，社交媒体上的新闻不仅限于文本内容，还逐步转变为包含图像或视频的多媒体内容，这不仅增强了新闻的叙事效果，也吸引了更多的读者。因此，现有的虚假新闻检测研究大多集中在多模态方法上。在虚假新闻的揭示和危害减轻方面，已有许多研究做出了贡献。多模态虚假新闻检测的代表性方法通过简单的拼接、辅助任务和协同注意力机制等手段进行模态融合。
2025-01-26 22:03:51
71
原创 因果推理基础与学习算法——第六章 多变量因果模型
本部分详尽阐述了因果推断理论中的干预概念，涵盖了干预分布的定义、实际案例中的应用分析、总因果效应的理论探讨以及干预变量的引入机制，旨在探讨如何运用干预手段深入研究变量间的因果联系。深入剖析了反事实概念在因果分析中的作用及其理论意义。本部分聚焦于因果模型的等价性与可证伪性议题，深入剖析了因果模型在实际应用中的关键概念与属性，为评估及对比不同因果模型提供了理论支撑。本部分主要阐述了潜在结果框架这一因果推断方法，包括其概念界定、与结构因果模型的关联性，以及相关的前提假设和实际应用。
2025-01-25 22:58:35
172
原创 OpenCV项目实战-答题卡识别判卷
随着教育信息化的推进，传统的人工批改答题卡的工作量大、效率低，且容易出错。为了提高批改效率并减少人为错误，基于计算机视觉的自动化判卷系统逐渐成为一种重要的解决方案。该系统能够通过扫描答题卡图像，自动识别学生的选择题答案，并根据正确答案计算得分。本项目实现了一个基于OpenCV的答题卡判卷系统。通过图像处理技术，自动检测答题卡中的选项区域，识别答案并与预设的正确答案进行对比，从而实现自动判卷。：通过对输入图像进行预处理（灰度化、模糊处理、边缘检测等），为后续的轮廓检测和透视变换做准备。
2025-01-20 18:55:26
149
原创 因果推理基础与学习算法——第五章 原因—效果模型与因果推断的联系
标准机器学习与统计学紧密相连，基于从潜在分布中抽取的独立同分布数据来推断分布属性。因果推断则假设了包含定向相关性的更强大潜在结构，这虽增加了从数据中学习结构的难度，但也带来了关于分布转移和干预影响等新的表述。若将机器学习视为推理超越纯粹统计关联规律的过程，因果关系便至关重要。本章主要探讨两个变量情况下因果推断与机器学习的联系。
2025-01-20 18:55:03
134
原创 OpenCV实战-停车场车位识别
为了提高停车场空间的利用率并为车主提供实时停车位信息，自动化的停车场管理系统成为了一种有效的解决方案。基于计算机视觉的车位检测技术能够通过监控摄像头对停车场进行实时监控，并通过图像处理和机器学习技术，自动识别空闲和占用的车位。本项目的目标是实现一个基于OpenCV和深度学习模型的停车场车位检测系统，能够从停车场的监控图像或视频中自动检测出每个停车位，并通过卷积神经网络（CNN）对每个车位的状态进行预测（空闲或占用）。：通过霍夫变换算法检测停车场中的车道线和车位边界，帮助确定停车位的具体位置。
2025-01-18 15:31:05
261
原创 大型语言模型能否学习独立的因果机制？—Can Large Language Models Learn Independent Causal Mechanisms?
最新一代的大规模语言模型（LLM）拥有数十亿的参数，已展示出在各种语言和推理任务中的强大性能（Bubeck等，2023；Brown等，2020；Wei等，2022b,a；Touvron等，2023a）。这些模型在针对特定任务进行微调后，表现更为出色（Touvron等，2023b；Hu等，2022）。然而，当任务超出训练数据的分布时，LLM会遇到显著的挑战，特别是在处理需要复杂推理的任务时。即使任务的分布发生了轻微变化，性能也可能大幅下降。有研究指出，
2025-01-18 11:24:09
59
原创 OpenCV实战-全景图像拼接
随着计算机视觉技术的不断发展，图像拼接技术已被广泛应用于虚拟现实、地图生成、全景摄影等领域。图像拼接（ImageStitching）旨在将多张部分重叠的图像无缝拼接成一幅完整的全景图像。此任务要求图像处理系统能够从不同角度获取的图像中识别出匹配的特征点，并通过计算视角变换将它们对齐。本项目实现了一个基于OpenCV的图像拼接算法，使用SIFT特征提取和RANSAC算法来估计图像之间的变换矩阵，进而拼接多个图像生成全景图像。该技术可用于大规模图像拼接、三维建模以及图像增强等应用场景。
2025-01-17 22:05:30
247
原创 OpenCV实战——文档扫描OCR识别
在信息化时代，文档图像的数字化处理成为了一个重要的需求。尤其是在文档扫描、票据识别、身份证识别等应用中，能够从图像中快速准确地提取文本信息是提升工作效率的关键。光学字符识别（OCR）技术已经广泛应用于此类场景，结合适当的图像预处理，可以大大提高OCR的识别准确度。本项目旨在通过图像处理和OCR技术，实现对扫描文档图像中的文本进行自动识别，提取出文档中的内容。：读取扫描后的图像并将其转化为灰度图像，为后续的文本识别做准备。通过图像预处理（如二值化和模糊），清晰化图像中的文本，使得OCR识别更加准确。
2025-01-17 00:02:46
630
原创 因果推理基础与学习算法——第四章 学习原因—效果模型
在第3章中，介绍了通过因果模型（SCM）生成联合分布的方法。然而，联合分布 通常无法唯一对应一个因果模型，因为可能存在多种因果结构能够生成相同的分布。这种现象称为 图结构的非唯一性。非唯一性的后果： 仅通过联合分布，我们无法明确因果关系的方向性（例如 C→E或 E→C）。因此，额外的假设成为结构可识别性的重要依据。为了解决结构非唯一性问题，提出了多种假设类型：如果这些噪声分布满足特定条件，则可以唯一确定因果方向。因果方向的识别： 假设因果关系中的噪声变量具有独立性或其他统计特性。例如，边缘
2025-01-16 10:30:29
89
原创 openCV项目实战——信用卡数字识别
然后应用二值化和形态学操作增强图像中的字符和数字区域，使其适合后续的轮廓提取和数字识别。本项目通过图像处理技术，特别是模板匹配与轮廓提取的结合，完成信用卡数字的定位与识别。：利用手工或已有的模板图像（数字的标准样式），通过模板匹配识别数字。：将识别出的数字区域绘制到原图上，并显示或输出完整的信用卡号。方法找出图像中的轮廓，并根据轮廓的几何特征（长宽比、尺寸等）筛选出可能包含信用卡数字的区域。：提取数字区域，进行二值化和轮廓检测，按从左到右的顺序排序数字。：使用模板匹配方法识别数字，选择与模板最匹配的数字。
2025-01-16 10:30:11
618
原创 因果推理基础与学习算法——第二章 因果推断假设
然而，这种假设的应用并非总是完美的，尤其在某些复杂情境下，举个例子，在实际的因果关系建模中，变量之间的依赖关系可能是无法忽视的，这时如果过度依赖独立性假设，推导出的因果关系可能会偏离实际情况。这一点在Beuchet的视角假设中得到了体现。虽然这些假设可能会带来一定的不确定性，但它们为因果推断提供了多维度的思考视角。在因果推断的实际应用中，独立性假设为建模过程带来了简化，但也因此产生了潜在的风险。因果推断不仅需要处理模型中各变量间的独立性，还要考虑它们可能的相互作用。
2025-01-15 10:11:01
96
原创 因果推理基础与学习算法——第三章 原因—效果模型
反事实分析是结构因果模型（SCM）中用于探讨假设情况下变量取值的理论工具。它通过修改噪声变量的分布，回答如“如果没有某种行动，会发生什么？”的问题。
2025-01-15 10:10:14
62
原创 因果推理基础与学习算法——第一章 统计和因果模型
探讨统计学习方法在推断随机变量间关系中的应用。针对随机变量的观测样本，通过构建预测模型，实现对另一随机变量值的推断。尽管该过程的数学框架相对简洁，但其蕴含的思想至关重要，构成了统计学与机器学习领域核心理论之一。因此，进一步研究如何更深入地理解和处理因果关系显得尤为必要。
2025-01-14 15:52:31
105
原创 用反事实最大似然估计训练深度神经网络——Counterfactual Maximum LikelihoodEstimation for Training Deep Networks
近年来，深度神经网络在各种任务和领域中取得了显著的成功。然而，研究表明，使用传统监督学习框架训练的深度学习模型倾向于学习错误相关性（spurious correlations），这些相关性并不应作为预测线索。在计算机视觉中，深度学习模型可能依赖于表面级纹理或背景环境，而不是图像中的目标对象。在自然语言处理（NLP）中，问题回答模型对问题的选择不敏感，而自然语言推理模型甚至可以仅基于单一语句预测句子对之间的逻辑关系。
2025-01-14 15:51:58
287
原创 Causal Intervention and Counterfactual Reasoning forMulti-modal Fake News Detection
虚假新闻悄然渗透到人们的日常生活中，与海量信息混杂在一起，对社会造成了严重的影响和危害。虚假新闻通常利用文本和图像等多模态信息误导读者，扩大传播范围并增强影响力。因此，找到一种方法来识别多模态虚假新闻显得尤为重要且紧迫。目前，大多数现有方法通过在已知的虚假新闻实例上进行训练，期望能够捕捉标签特定的特征，以判断未见新闻的真实性（Singhal et al., 2020;然而，这些标签特定特征在面对未见的虚假新闻样本时，可能会暴露出隐藏的数据偏差，从而导致模型表现下降（Wang et al., 2018;
2025-01-11 17:51:49
102
原创 CAT-BENCH: Benchmarking Language Model Understandingof Causal and Temporal Dependencies in Plans
这些结果表明，现有模型在推理步骤依赖性时的能力和可靠性仍有很大改进空间。
2025-01-03 17:40:06
48
原创 Multimodal Clickbait Detection by De-confounding Biases Using CausalRepresentation Inference
如图 3(a) 所示，传统方法通常基于帖子特征 X 与标签 Y 的共现关系进行预测。理 想情况下，X 应该反映帖子的潜在恶意意图。然而， 来自通用的编码器，未考虑欺诈行为的特定 性质。这不可避免地引入了一些错误相关性，例如将一些琐碎但无关的术语或图像错误地与非诱饵标 签关联。此外，一些诱饵模式是稳定的，而某些写作风格会在不同场景中发生变化，例如时间段、内 容类型以及创作者。这种区分的缺乏容易导致预测错误。-种简单的解决方法是将 X 分解为几个因子，即:1.反映恶意意图的不变因子 IC;
2025-01-03 17:39:36
79
人工智能+Vectornet源码详解+博客资源
2023-01-01
博客资源:clip-demo测试效果展示
2022-10-22
博客资源+seaborn相关操作
2022-10-14
博客资源+pandas相关代码
2022-10-14
博客资源+Matplotlib绘图的基本使用
2022-10-14
数学建模+时间序列预测+LSTM+股票数据分析
2022-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人