- 博客(123)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 去噪扩散模型
扩散概率模型作为一种新兴的研究方向，近年来在图像生成领域展现出了巨大潜力。追溯历史，基于扩散的生成模型在2015年就出现了，而直到2020年，Ho等人发表的论文Denoising Diffusion Probabilistic Models，DDPM，将扩散模型推向了大众，DDPM的出现使得扩散模型在实际应用中变得可行。本文将介绍DDPM的核心概念和技术，并以“flowers”数据集为例，从头开始训练DDPM，探索无约束条件下的图像生成过程。在DDPM模型中，作者通过调整模型公式和训练流程，不仅提升了图像的
2025-03-16 22:30:23
68
原创 TimeMixer：用于时间序列预测的可分解多尺度混合模型
在时间序列预测领域，准确捕捉复杂的时间变化是关键挑战。本文介绍的“TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting”提出了创新的TimeMixer模型，在长短期预测任务中均展现卓越性能。
2025-03-10 16:34:20
1131
原创 基于图神经网络的会话推荐经典论文
其中3篇文章都使用到了软注意力机制，来获取会话的全局表示。在GCE-GNN文章中考虑了位置信息，并加入了反向位置信息。在图结构中，为不同的边考虑不同的权重参数。在GCE-GNN文章中使用注意力机制来从全局图中提取适合当前会话的信息。
2025-03-02 22:53:52
908
转载 Transformer压缩
对于实际的硬件实现，将权重或激活量化为较低的位是必不可少的。然而，在本综述的范围内，将源模型限制为用于自然语言处理 [134]，[4] 或视觉识别 [12]，[26]，[135]，[136] 的预训练大型 transformer 提出了需要解决的几个具体类别的技术（图 5）。在量化过程中，如方程 4 所示，浮点张量 x 被转换为具有相应量化参数（比例因子 s和零点 z）的整数张量 x_int，然后整数张量 x_int 可以被量化回浮点数 x_quant，但与原始 x 相比会导致一定的精度误差，即，
2025-01-13 10:48:53
67
原创 经典论文推荐
交通方向：推荐人：胡梦言1、Li Y , Yu R , Shahabi C ,et al.Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting[J]. 2017.DOI:10.48550/arXiv.1707.01926.推荐理由：引入图卷积操作，同时利用了时间特征和空间特征，是许多论文常用的对比方法。2、Yu L , Du B , Hu X ,et al.Deep spatio-
2025-01-06 10:26:41
1169
转载 图像降噪：最优化建模方案盘点
根据贝叶斯概率论从有噪图像Y恢复无噪图像X可以视为条件概率模型p(Y|X)与p(X)的建模问题，因此图像降噪作为一个典型的病态求解问题需要引入先验信息或者假设模型p(X)。我们可以将降噪方法大体分为外部先验和内部先验方法：外部先验方法主要通过学习外部干净图像数据集的固有属性指导噪声图像降噪，如学习干净图像的字典或先验高斯混合模型，另外基于深度学习的方法也可以归纳于此。而内部先验方法主要依赖于如低秩、稀疏、自相似等图像内部特征，如KSVD、WNNM、BM3D、NLM等方法。
2024-12-30 00:13:34
272
转载 机器学习 - 拉普拉斯算子 与 拉普拉斯矩阵
其中， |V| 即为这个圈的体积， S(V) 为这个圈的边界， n^ 为与圈边界上指向外的单位向量。所以，从以上分析可看出，散度表示了向量场的发散程度，散度为正，值越大，向量场在处发散地越强烈；而散度为负，值越小，向量场在处汇集地越强烈。而。
2024-12-23 09:44:09
332
转载 Learning Multi-granularity Consecutive User Intent Unit forSession-based Recommendation
令表示所有的商品的集合，会话表示为，其中L是会话长度，表示在位置i时商品的id。目的是给定si后，预测。
2024-12-15 19:50:33
88
转载 优化论简介
低罚参数使得优化过程在可行域外也能找到较低的目标函数值点，但可能不满足约束条件。高罚参数强制优化过程在可行域内找到最优解，因为违反约束条件的点会被显著惩罚。
2024-12-08 22:03:27
311
转载 最大似然估计，最大后验估计以及贝叶斯估计
在机器学习中，我们经常使用一个模型来描述生成观察数据的过程。例如，我们可以使用一个随机森林模型来分类客户是否会取消订阅服务（称为流失建模），或者我们可以用线性模型根据公司的广告支出来预测公司的收入（这是一个线性回归的例子）。每个模型都包含自己的一组参数，这些参数最终定义了模型本身。我们可以把线性模型写成 y = mx + c 的形式。在广告预测收入的例子中，x 可以表示广告支出，y 是产生的收入。m 和 c 则是这个模型的参数。这些参数的不同值将在坐标平面上给出不同的直线（见下图）。
2024-12-01 20:38:22
963
原创 Efficiently Leveraging Multi-level User Intent for SBR via Atten-Mixer Network(WSDM23)
基于会话的推荐（SBR）旨在基于短的和动态的会话来预测用户的下一步行动。最近，人们越来越关注利用各种精心设计的图神经网络(GNN) 来捕获项目之间的成对关系，这似乎表明设计更复杂的模型是提高实证性能的灵丹妙药。然而，虽然模型复杂性的指数增长，但这些模型只能实现相对边际的改进。因此，本文建议直接去掉GNN的传播部分，在readout模块增强其推理能力。Atten-Mixer提出了多级注意混合网络，它利用概念视图和实例视图读数来实现项目转换的多级推理。
2024-11-24 16:42:22
738
转载 两类最主流AI应用中的目标函数
本篇通俗讲述“文生图”、聊天机器人背后的大致原理，重点阐述衡量生成结果与真实情况之间分布差异的KL散度（相对熵）、评估排序信息的成对排序损失（Pairwise Ranking Loss）两种任务类型的目标函数。类似Midjourney、DALL-E、Stable Diffusion、FLUX.1等优秀的“文生图”应用，在训练中势必要重点关注“如何衡量推测分布（生成的图像）与实际分布（原始的图像）的差距”。喂给SFT模型一个问题文本，得到4个回答（A、B、C、D），人类标注员进行排序（D>C>A>B）。
2024-11-18 10:12:38
107
转载 大模型的原理、应用与未来趋势
如果说统计模型是一个熟练的棋手，那么神经模型就像是一个天才棋手，不仅记住了大量的棋谱，还能理解每步棋背后的深层策略。例如，在Falcon40B模型的训练过程中，研究人员对CommonCrawl数据进行了大规模的过滤和去重，最终从原始的数万亿个token中筛选出了约5万亿个高质量的token。构建一个成功的大语言模型，就像精心打造一座宏伟的建筑。例如你可以用自然语言告诉Alpaca “为我的宠物猫设计一个自动喂食器”，它不仅能理解你的需求，还能给出详细的设计方案，包括材料清单、组装步骤，甚至可能的改进建议。
2024-11-10 22:27:57
132
转载 综述：深度图像先验
一句话概括：逆/反成像问题指从有噪声的观测中还原出真实信号的问题以下使用逆问题的说法推荐这个视频，几分钟就讲清楚了综述论文中第一部分的内容REI：完全无监督的成像逆问题框架【CVPR 2022 Oral】_哔哩哔哩_bilibiliwww.bilibili.com/video/BV1GS4y1v7wr/?vd_source=0f9579b55d8552e605ea0761f15e41f2编辑*以下黑色背景的图片均出自该视频x是感兴趣的未知图像，A是测量算子，用A对x进行观测，得到观测值y。
2024-11-03 22:40:50
263
转载 【论文阅读_序列推荐】Intent Contrastive Learning for Sequential Recommendation
上述公式求解很复杂，因此根据EM算法，构造上式的下界，通过最大化下界来最大化上式，假设意图c满足分布Q(c)，∑cQ(ci)=1，并且Q(c)≥0，可以得到下式，等式右边第一个是求期望，第二个是乘上Q()/Q()，值不变。但是直接优化上式存在一个问题，就是不同的用户可能存在相同的意图，如果直接优化，可能会把相同意图的也作为负样本，即假阴性。前面我们提到序列推荐中，每次都用前t个子序列来预测第t+1时的商品，为了简化ICL损失函数的计算，只考虑最后一步的下界，则可以去掉上式的中间的求和，公式如下，
2024-10-27 14:10:35
211
1
转载 ST-LLM
A: 这篇论文介绍了STG-LLM（Spatial-Temporal Graph-Large Language Model），一种创新的方法，旨在利用大型语言模型（LLMs）进行时空预测。问题背景论文指出，尽管LLMs在自然语言处理和计算机视觉等领域表现出色，但将它们应用于时空预测任务仍然面临挑战，主要是因为文本数据与时空数据之间的差异。STG-LLM方法为了解决这一问题，论文提出了STG-LLM，它包含两个关键组件：STG-Tokenizer和STG-Adapter。
2024-10-22 18:34:15
119
转载 GraphRAG Survey 解读
GraphRAG的核心思想是将知识图谱中的结构化信息（如节点、三元组、路径或子图）与LLMs的输出相结合，以提供更准确和丰富的生成结果。由于知识图谱中的结构化信息是经过组织和整理的，因此可以更方便地进行信息的检索和聚合，从而避免冗余信息的出现。为了解决这个问题，图检索增强生成（GraphRAG） 利用了实体之间的结构信息，实现了更精确、全面的检索，捕捉了关系知识，促进了更准确、上下文感知的响应。这一阶段的目标是通过选择或构建适当的图数据，并建立有效的索引，来为后续的GraphRAG过程提供坚实的基础。
2024-10-13 16:27:40
123
转载 从人机交互出发解读Prompt Engineering (提示词工程)
我们选择了经典的3个数据集：ImageNet-LT、Places-LT、以及iNaturalist，然后测试CLIP在不同数据上的结果，发现其并非一往无前，而是在稀疏少见的类别上（如iNaturalist数据集的大多数类别）均表现不好，精度只有。注意，并不是所有的prompt都有这样的形式，如比较简短的prompt：“中国的首都在哪里”、“模仿百年孤独的开头写一段话”这种言简意赅的prompt就只有指令、没有内容。我们输入的这些prompt，将会被模型识别、处理，最终输出为我们要的答案。
2024-09-29 21:52:43
184
转载 大语言模型（LLM）综述
自2022年11月发布 ChatGPT 以来，大语言模型（LLM）因其在各种自然语言任务上的出色表现而备受关注。LLM的通用语言理解和生成能力是通过在大量文本数据上训练数十亿个模型参数来获得的，正如Scaling Laws所预测的那样（OpenAI 2020年提出的，简单的说就是：随着模型大小、数据集大小和用于训练的计算浮点数的增加,模型的性能会提高）。LLM的研究领域虽然是最近才出现的，但正在以许多不同的方式迅速发展。
2024-09-22 21:37:46
316
1
转载 大模型微调方法综述
Prefix Tuning针对不同的模型结构有设计不同的模式，以自回归的模型为例，不再使用token去作为前缀，而是直接使用参数作为前缀，比如一个l × d l × dl×d的矩阵P PP作为前缀，但直接使用这样的前缀效果不稳定，因此使用一个MLP层重参数化，并放大维度d dd，除了在embedding层加入这个前缀之外，还在其他的所有层都添加这样一个前缀。简单来说模型的参数就类比于，一个在大学学习到所有专业的知识的大学生，基于过往的学习经验以及对生活中的一些事情，已经有了属于自己的一套学习方法思维逻辑。
2024-09-15 23:50:21
481
转载 ChatGPT/InstructGPT详解
GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1，GPT-2，GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公布的[1]是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT3.5。
2024-09-08 23:45:28
220
转载 大模型RAG综述
RAG（Retrieval-Augmented Generation）是一种先进的技术框架，旨在通过结合大型语言模型（LLMs）的内在知识与外部数据源的动态知识库，提升模型在知识密集型任务中的准确性和可信度。RAG技术通过三个主要的发展阶段——Naive RAG、Advanced RAG和Modular RAG——不断演进，其中涉及关键组件如检索、生成和增强技术的优化。它通过索引、检索和生成步骤，使得模型能够处理大规模数据集，同时保持了数据的实时更新和安全性。
2024-09-01 22:29:57
215
原创 2023 联邦推荐系统综述
2023 联邦推荐系统综述 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS,
2024-06-24 16:21:46
1539
转载 联邦学习中的知识蒸馏
联邦学习 (FL) 已被提议作为基于云的深度学习 (DL) 的替代方案。这种范例将训练 DL 模型的能力与收集原始数据、交替在设备上计算和定期通信的需要分离开来 [34、4]。在学习过程中，联邦中的参与者只需要披露短暂的、本地处理的有效载荷，这使得推断个人的私人信息变得更加困难。联邦平均 (FedAvg) 代表联邦学习 (FL) [34] 的基线算法。在 FedAvg 中，协作学习通过利用。
2024-06-18 16:15:10
2775
转载 视觉Mamba来了：速度提升2.8倍，内存能省87%
在 ImageNet 分类任务、COCO 对象检测任务和 ADE20k 语义分割任务上，与 DeiT 等成熟的视觉 Transformers 相比，Vim 实现了更高的性能，同时还显著提高了计算和内存效率。随后直接堆叠 L 个 Vim 块。Mamba 的提出带动了研究者对状态空间模型（state space model，SSM）兴趣的增加，不同于 Transformer 中自注意力机制的计算量会随着上下文长度的增加呈平方级增长，由于 SSM 擅长捕捉远程依赖关系，因而开始受到大家追捧。
2024-06-13 22:45:11
180
原创 2024国内热门大语言模型在科研方面的应用
开发方：百度特点：专注于中文语言理解与生成，适合中文文本的语义理解任务。百度推出的文心一言，依托百度庞大的数据资源和强大的自然语言处理技术，能够进行高质量的文本生成、问答和多轮对话。它在中文场景下的表现尤为突出，对于中文语境的理解和生成能力极强。上述大模型各有自己的优势,要结合自己的任务和模型特点,选择合适的模型使用。
2024-06-05 14:58:37
1535
转载 CVPR2024论文盘点（10篇）：包括多模态大模型，目标检测，图像分割
通过这种方法，在PASCAL VOC 2012和MS COCO 2014两个标准数据集上的实验不仅验证了CPAL的有效性，还展示了它在提升模型性能方面的显著优势，推动了该领域的进步至新的高度。随着深度学习的快速发展，模型可用训练数据规模呈指数级上升，大规模语言模型和多模态模型的通用理解能力得到了巨大的提高，出现了一批能解决多种任务的统一模型。在推理阶段，通过将先前帧中预测的物体掩码作为它们的视觉提示，UniVS 将不同的视频分割任务转化为以提示为导向的目标分割，消除了启发式的帧间匹配过程。
2024-05-29 22:15:10
26835
原创 2023-2024 联邦推荐 × 顶会
abstractTranslation: 联邦推荐可以潜在地缓解收集敏感数据和个人数据以训练个性化推荐系统时的隐私问题。然而，当由于本地资源限制而不适用本地服务并且在线服务需要查询客户端的数据隐私时，其推荐质量较低。此外，在联邦推荐的训练和服务中理论上的私有解决方案是必要的，但仍然缺乏。由于模型梯度和隐藏表示的高维特性，将差分隐私（DP）简单地应用于联邦推荐的两个阶段将无法在隐私和效用之间实现令人满意的权衡。
2024-05-13 22:09:42
2560
转载 【转载】解读Mamba序列模型
他在SSM的基础上，通过此篇论文《》首次提出了结构化状态空间S4(这里有关于S4的更多论文)，但这篇论文的可读性比较差；当然，作者在YouTube上有一个关于这篇S4论文的精彩解读，比S4论文的可读性提高很多，且本文中也应用了其中的部分PPT截图，但还可以更加通俗易懂；此外，Maarten Grootendorst写了一篇《A Visual Guide to Mamba and State Space Models》，可读性较强。
2024-05-07 14:38:08
3728
转载 基于扩散模型的图像编辑：首篇综述
去噪扩散模型已成为各种图像生成和编辑任务的有力工具，有助于以无条件或输入条件的方式合成视觉内容。这些模型背后的核心理念是学习如何逆转逐渐向图像中添加噪声的过程，从而从复杂的分布中生成高质量的样本。在这份调查报告中，我们详尽概述了使用扩散模型进行图像编辑的现有方法，涵盖了该领域的理论和实践方面。我们从学习策略、用户输入条件和可完成的一系列具体编辑任务等多个角度对这些作品进行了深入分析和分类。
2024-04-24 19:11:58
1593
原创 交通大模型与时序大模型整理【共15篇工作】【附开源代码】
通过本文的阐述，我们希望能够为研究人员、决策者和城市规划者提供一些有益的参考，促进交通领域数据整理与分析工作的进一步发展与应用。
2024-04-16 15:41:12
7111
转载 个性化联邦学习综述
文章转载自题目：Towards Personalized Federated Learning收录于：IEEE Transactions on Neural Networks and Learning Systems (Mar 28, 2022)作者单位：NTU，Alibaba Group，SDU，HKUST，WeBank链接：https://arxiv.org/pdf/2103.00710.pdf。
2024-04-08 19:28:09
1442
转载 联邦学习中的个性化技术（Personalization）
联邦学习中，由于数据的统计异构问题，用户间的隐私数据具有分散、Non-IID(非独立同分布)特性，每个用户本地的数据分布会随着用户所在地以及用户偏好而变动。原因很简单，模型的暴力聚合(FedAvg)并不是线性的求和，每个用户自身的模型参数仅适合本身的数据，而不同用户数据间的数据分布以及质量差距较大。
2024-04-02 19:49:06
581
转载 异构联邦学习综述：最新进展与研究挑战
联邦学习（Federated Learning, FL）因其在大规模工业应用中的潜力而受到越来越多的关注。现有的联邦学习工作主要关注模型同构的情况。然而，实际的联邦学习通常面临参与者客户端之间的数据分布、模型体系结构、网络环境和硬件设备的异构性。异构联邦学习（Heterogeneous Federated Learning, HFL）更具挑战性，其解决方案多样且复杂。因此，对该问题的研究挑战和最新进展进行系统综述是必要的。
2023-12-10 20:50:55
2104
转载 传统图像降噪算法之BM3D原理详解
图像降噪是一个十分具有实用价值的研究方向，因为噪声总是无处不在的。当处于比较昏暗的环境时，噪声将极大地影响着我们所拍摄的图像。如今，随着深度学习算法以及相关硬件的不断发展，深度卷积网络同样在图像降噪领域占据了主流，并且代表了该领域最优异的成绩。但是，深度神经网络同样有着其缺点，例如模型过于庞大而计算复杂度过高，以及缺乏一些理论上的解释性，当然这些缺点正不断地得到弥补。为了更好地理解图像降噪的基本原理，我们有必要回过头来仔细研读一些传统算法的具体思路，了解其所使用基本理论依据，以及一些巧妙的改进方法。
2023-12-01 11:53:18
1997
转载 联邦学习：联邦场景下的跨域推荐
跨域推荐在实际应用中常常面临隐私性的挑战，其一是不同用户的数据难以合法地进行集中化收集；其二是其使用的迁移学习模型跨不同的域和数据集进行映射，这常常会关联到不同的组织机构，同样会面临隐私问题。此时上面提到的需要将数据集中起来的跨域推荐方法就不再行得通了，需要考虑在联邦场景下的跨域推荐模型。
2023-11-07 16:46:38
1080
原创 图像恢复介绍（持续更新）
的产生是信号在采集、传输以及记录过程中，受到成像设备自身因素和外界环境的影响而产生的。现实中的噪声是随机分布的，事实上，噪声无法完全去除，只能使得重现信号尽可能的接近原始信号，因此，去噪严格意义上只能被称之为降噪。通过去噪可以有效地增大图像信号的信噪比，提高图像质量 ，更好地体现原始图像所携带的信息。
2023-10-26 17:55:10
743
转载 Pytorch搭建YoloV5目标检测平台
源码下载YoloV5改进的部分（不完全）1、主干部分：使用了Focus网络结构，具体操作是在一张图片中每隔一个像素拿到一个值，这个时候获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍。该结构在YoloV5第5版之前有所应用，最新版本中未使用。2、数据增强：Mosaic数据增强、Mosaic利用了四张图片进行拼接实现数据中增强，根据论文所说其拥有一个巨大的优点是丰富检测物体的背景！且在BN计算的时候一下子会计算四张图片的数据！
2023-10-19 14:12:09
415
雅虎音乐数据集1.0版本yahoo-music.zip
2021-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人