- 博客(15)
- 收藏
- 关注
RSS订阅原创 算术特征交互对于深度表格学习是必要的
现在，介绍AMFormer的技术细节。框架概述如图2所示，它与经典的Transformer架构非常相似，只是用算术块代替了原有的模块。用d表示隐藏状态的维度，AMFormer通过将原始特征转换为代表性嵌入来启动该过程，即，对数值特征应用一个1输入d输出的线性层，对类别特征应用一个d维嵌入查找表。随后，这些初始嵌入通过L个顺序层进行处理，这些层用于用重要的上下文和交互元素来扩充它们。在这些层中的每一层中，采用执行并行加法和乘法注意力的算术块，以有意识地促进算术特征交互。
2025-11-28 17:47:24
810
原创 大型语言模型综合概述（一）
大型语言模型（LLM）最近在自然语言处理任务及其他领域展现出了卓越的能力。LLM 的成功导致了大量涌入的研究贡献。这些工作涵盖了各种主题，如架构创新、更好的训练策略、上下文长度改进、微调、多模态 LLM、机器人技术、数据集、基准测试、效率等等。随着技术的快速发展和 LLM 研究的突破，要理解这一方向进展的全局变得相当具有挑战性。考虑到大量涌现的关于 LLM 的文献，研究界能够从对该领域最新进展的简洁而全面的概述中受益是至关重要的。本文概述了与 LLM 相关的广泛概念的文献。
2025-11-21 11:44:00
60
原创 大型语言模型与知识图谱：机遇与挑战
大型语言模型（LLM）已经以风暴之势席卷了知识表示——以及整个世界。这个转折点标志着从显式知识表示到重新关注显式知识和参数知识混合表示的转变。在这篇研究目标论文中，我们将讨论关于大型语言模型（参数化知识）和知识图谱（显式知识）的社区内一些常见的争论点，并推测重新关注所带来的机遇和愿景，以及相关的研究课题和挑战。大型语言模型（LLM）已经以风暴之势席卷了知识表示（KR）——以及整个世界——因为它们已经在广泛的自然语言任务中展示了人类水平的性能，包括一些需要人类知识的任务。
2025-11-19 09:28:15
844
原创 表格数据学习的图神经网络综述
今天学习一篇发表在中科院一区期刊《ACM Computing Surveys》的综述文章《Graph Neural Networks for Tabular Data Learning: A Survey with Taxonomy & Directions》，该刊主要刊载计算机理论方法领域的系统性综述与教程论文，注重跨学科技术融合研究，最新的影响因子为28.0。本文的目的在于通过学习这篇文章，了解关于表格数据学习点图神经网络一些基础知识。
2025-11-11 12:12:40
798
原创 变色龙：基于大语言模型的即插即用组合推理
今天来看加州大学洛杉矶分校张凯伟教授团队发表的一篇文章，发表在人工智能顶会NeurIPS 2023的论文《Chameleon: Plug-and-Play Compositional Reasoning。
2025-11-05 17:59:04
964
原创 基于图的检索增强生成(GraphRAG)
随着研究者对图研究的深入，未来GraphRAG会是一个前沿的研究方向，里面还有很多挑战与机遇值得我们去解决，以更好地挖掘图的深层含义，更好的为大语言模型服务。2025年11月3日学习笔记文章同步更新在同名今日头条号“一的万次方”(GraphRAG)
2025-11-04 19:38:17
580
原创 多模态大语言模型的发展
今天看一篇发表在ACL顶会，关于多模态大语言模型的综述文章《The Revolution of Multimodal Large Language Models: A Survey》。
2025-10-29 11:28:52
763
原创 MinerU：用于精确文档内容提取的开源解决方案
本文介绍了一种一站式PDF文档提取工具MinerU。借助高质量的模型推理结果以及细致的预处理和后处理操作，即使在处理各种文档类型时，MinerU也能确保高质量的提取结果。2025年10月27日学习笔记文章同步更新在同名今日头条号“一的万次方”
2025-10-27 21:12:04
1119
原创 基于检索的生成用于知识密集型自然语言处理任务
RAG 指的是检索增强生成(Retrieval-Augmented Generation)，这是一种结合了信息检索和生成式AI的框架，旨在提升大语言模型（LLM）的输出质量。它通过在LLM生成回答之前，先从外部知识库（如数据库或文档）中检索相关信息，然后将这些信息作为上下文提供给模型，从而确保生成的内容更加准确、及时且相关，同时避免了重新训练模型。本文提出了可以访问参数和非参数记忆的混合生成模型，证明了RAG模型在开放域问答方面获得了最先进的结果。
2025-10-27 11:43:30
706
原创 多模态表格学习
作者借助于之前的多模态训练方法LLaVA1.5，提出了一种新的多模态表格学习方法Table-LLaVA，并同时与大量的baseline进行比较。实验表明：Table-LLaVA具有非常好的效果。此外，之前的多模态表格学习模型由于缺乏全面的训练集，导致训练出来的模型并不完美，因此作者自己构造了一个完整的数据集MMTab，供Table-LLaVA训练。论文同步更新在今日头条号“一的万次方”2025年10月22日与23日学习笔记。
2025-10-23 22:37:16
622
原创 将时间序列分类重新表述为大语言模型可理解的免训练表格
本文通过引入表格学习，解决了现有大语言模型对时间序列分类的诸多挑战。这种“交叉引用”的思想在现有大模型的研究中非常常见，也是比较容易出论文的一种方式。然而要找到那个能解决问题的“交叉引用”点并不是十分容易，前提是你得对某领域所存在的问题研究的十分透彻。如本文中时间序列分类三大缺陷的原理以及为什么表格学习能够解决这三大缺陷？你需要理解的十分透彻。2025年10月21日学习笔记文章同步更新在同名今日头条号“一的万次方”
2025-10-22 09:10:10
816
原创 智能体工厂：大小模型协作学习
针对模型孤岛与数据流通问题，本研究提出了一种 基 于 模 型 间 协 作 的 机 器 学 习 范 式 ， 旨 在 建 立FAgent 的完整链条，实现由多方模型结合私域数据实现生产智能体的全流程。不同于一般的大模型学习，FAgent 中主要通过大小模型间的协作学习，在保护模型和数据隐私的前提下，借助大模型提升小模型能力，或反之通过小模型增强大模型知识，从而产出相应的智能体。这种新的智能体联合学习思路（大模型教小模型——学模型，小模型教大模型——学数据）是未来智能体发展的一大趋势。10月20日学习笔记。
2025-10-21 20:09:52
530
原创 通过表征学习理解表格
文章巧妙的点在于，作者观察到在表格学习中面临的两大挑战。而后借助于常用的预训练/微调框架一一进行解决，是本文的一大特色。此外，由于关系型表格数据集的缺乏，作者提出了一种有说服力的表格数据集构造方法，也是我们在进行大模型算法的优化中，值得学习的一种思路。2025年10月14日学习笔记文章同步发布在同名今日头条号“一的万次方”
2025-10-15 16:25:41
934
原创 基于分层工作记忆管理的大语言模型
一篇非常有趣的论文，个人理解论文的核心创新点为“拆分子目标“的思想，子目标的拆分使得智能体在执行长程任务时性能得到提升。这一思想其实早在其他论文中提出，作者创新性地将这一思想用到了智能体的工作记忆改进中。有了上面的核心思想，作者还提出了“轨迹检索模块”另一个创新点，以实现查询之前子目标的详细轨迹信息。这两个创新点用到了新领域（智能体短期记忆），使得HIAGENT在五个长程任务实验中，均领先于现有的baseline（详见上表）。子目标思想相关论文。
2025-10-14 17:21:14
1267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人