- 博客(31)
- 收藏
- 关注
RSS订阅原创 4.8-4.15学习周报
本博客介绍了论文《From 128K to 4M: Efficient Training of Ultra-Long ContextLarge Language Models》提出一种高效训练超长篇上下文大语言模型的方法。先通过持续预训练，利用特制语料和YaRN缩放技术，将模型上下文窗口从128K扩展到1M、2M和4M；再进行指令微调，用高质量短上下文数据集提升模型指令遵循和推理能力。
2025-04-10 18:11:28
816
原创 【3.31-4.6学习周报】
本博客介绍了论文《Enhancing Consistency and Mitigating Bias:A Data Replay Approach for Incremental Learning》提出了用于类别增量学习的一致性增强数据重放与去偏分类器（CCIL）框架，以解决无数据增量学习中的灾难性遗忘问题。首先，通过简化和假设定量测量数据一致性，分析现有损失函数，提出数据一致性增强损失（DCE）来缩小合成数据与真实数据的分布差距。
2025-03-28 18:03:41
871
原创 3.25-3.31学习周报
本博客介绍了论文《DPC: Dual-Prompt Collaboration for Tuning Vision-Language Models》提出了用于调整视觉语言模型的双提示协作（DPC）框架，以解决基于CLIP的提示调优中普遍存在的基类 - 新类权衡（BNT）问题。该框架通过在提示级别解耦基类和新类任务的优化过程，避免了优化方向的冲突。具体而言，基于骨干提示克隆可学习的并行提示，并引入可变的加权解耦框架独立控制双提示的优化方向。
2025-03-27 17:43:14
869
原创 3.17-3.24学习周报
本博客介绍了文章《HippoRAG: Neurobiologically InspiredLong-Term Memory for Large Language Models》提出HippoRAG，一种受人类长期记忆中海马索引理论启发的检索框架，旨在解决大语言模型（LLMs）难以有效整合新知识的问题。HippoRAG通过模仿人类记忆模型，协同编排LLMs、知识图谱和个性化PageRank算法，实现更高效的知识整合。
2025-03-20 17:04:12
743
原创 3.9-3.16学习周报
本博客介绍了论文《Evolving Ensemble Model Based on Hilbert Schmidt Independence Criterion for Task-Free Continual Learning》聚焦于无任务持续学习（TFCL），提出进化集成模型（EEM）。该模型可在无任务标签的非平稳数据流上训练，动态构建新专家以适应数据分布变化。为确保训练时网络架构紧凑，引入基于希尔伯特 - 施密特独立性准则（HSIC）的扩展机制，评估专家所学知识与数据特征空间的统计一致性。
2025-03-13 15:45:03
733
原创 【3.2-3.8学习周报】
本博客介绍了论文《Efficient Continual Pre-training for Building DomainSpecific Large Language Models》通过持续预训练构建特定领域大语言模型的策略。研究以金融领域为例，创建了包含160亿单词的大规模金融语料库，训练了基于Pythia的FinPythia模型。实验表明，领域自适应持续预训练能提升模型在金融任务上的表现，且不损害其开放领域能力。
2025-03-06 20:14:16
701
原创 2.23-2.28学习周报
本博客介绍了论文《Unlocking Continual Learning Abilities in Language Models》提出了一种名为MIGU的无排练、无任务标签的方法，用于解决语言模型（LMs）在持续学习（CL）中灾难性遗忘的问题。MIGU利用LMs线性层输出的L1归一化幅度分布差异，在梯度更新过程中仅更新幅度大的参数，从而解锁LMs的固有CL能力。
2025-02-27 21:28:18
1036
原创 2.17-2.23学习周报
本博客主要通过阅读了论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》介绍了关于deepseek的研究背景和理论方法，《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》是一篇由 DeepSeek 团队发表的论文，聚焦于通过强化学习RL提升大语言模型的推理能力。
2025-02-20 16:51:12
1066
原创 【2.10-2.16学习周报】
本博客概述了文章《Rainbow Memory: Continual Learning with a Memory of Diverse Samples》聚焦于任务边界模糊的持续学习场景，提出基于样本分类不确定性和数据增强的Rainbow Memory (RM)记忆管理策略。多数研究在任务不共享类别的较人为的设置下评估相关方法，但在现实世界应用场景中，任务之间的类分布是不断变化的，更现实和实用的是任务共享类别的模糊CIL设置。
2025-02-15 15:50:13
732
原创 2.3-2.9学习周报
本博客介绍了论文《SAIL: Sample-Centric In-Context Learning for Document Information Extraction》，提出了一种用于文档信息提取（DIE）的以样本为中心的上下文学习（SAIL）方法。针对无训练DIE任务中理解文档布局与文本实体关系、为预训练模型提供有效指导两大挑战，SAIL引入实体级文本相似度和布局相似度，制定统一的ICL提示模板。
2025-02-08 14:47:57
865
原创 【1.20-1.27学习周报】
经验重放(ER)当前面临着噪声转换、大内存和不稳定返回的挑战。基于ER的经验重放优化（ERO）是一种新颖的强化学习算法，它使用深度重放策略进行经验选择。然而，ERO 依赖于简单的先进先出 (FIFO) 保留策略，该策略旨在通过不断保留最近的经验来管理重放内存，而不管它们与代理的学习有何相关性。当回放内存已满时，FIFO 会依次用新的体验覆盖最旧的经验。
2025-01-15 19:00:56
1106
原创 【1.13-1.19学习周报】
本博客介绍了论文《PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning》针对多个任务进行持续学习中所遇到的灾难性遗忘问题，提出了一种基于网络剪枝技术创建自由参数，并将多个任务添加到单个深度神经网络的方法PackNet。博客首先介绍了PackNet如何对任务进行网络剪枝和训练，然后介绍了研究者们对各种网络架构和大规模数据集进行了广泛的实验，与提出的PackNet方法来进行对。
2025-01-10 15:55:20
982
原创 1.6-1.12学习周报
本博客通过阅读和总结论文《ACAE-REMIND for Online Continual Learning withCompressed Feature Replay》，针对当前持续学习面临的挑战，如灾难性遗忘等，提出ACAE - REMIND方法用于在线持续学习中的压缩特征重放。博客首先介绍相关工作包括自动编码器和乘积量化、REMIND。然后阐述ACAE - REMIND模型的特征重放位置、在线持续学习设置、模型结构及训练过程。
2025-01-08 17:15:52
794
原创 12.30-1-5学习周报
本博客介绍了论文《Continual learning in the presence of repetition》关于CVPR 2023 上的 CLVision 挑战赛的总结。该挑战赛的主要目标是探索重复在持续学习中的作用。博客首先介绍了决赛团队所提出的三种方案:HAT-CIR、Horde、DWGRNet，这三种方案的设计思路都是从数据流中的重复的类来进行持续学习。
2025-01-01 18:45:14
633
原创 12.22-12.29学习周报
本博客介绍了论文《Similarity-based context aware continual learning for spiking neuralnetworks》中研究者针对现有的基于脉冲神经网络的持续学习算法对每个任务一视同仁，忽略了不同任务相似性关联对网络学习的指导作用，限制了知识利用效率的问题，提出了一种基于相似性的上下文感知脉冲神经网络（SCA-SNN）持续学习算法，以有效完成任务增量学习和类别增量学习。
2024-12-27 21:09:15
748
原创 12.15-12.22学习周报
本博客主要介绍了论文《A Closer Look at Rehearsal-Free Continual Learning》对于几个流行的持续学习策略设置无排练的持续学习的研究。研究者所研究的Rehearsal-Free Continual Learning不采用回放策略来解决灾难性遗忘，而是让模型优先学习新的任务，同时尽可能保证对于就任务的记忆。论文中详细介绍了三种常用的知识转移方法的公式原理:参数正则化、预测蒸馏和特征蒸馏。
2024-12-21 22:49:18
905
原创 12.9-12.16学习周报
本周对脉冲神经网络进行了更加深刻具体的学习，理解了SNN膜电位公式的含义以及计算的过程，学习了spikingjelly快速搭建SNN。了解了图数据库的相关概念，存储方式和特点，为后面对于持续学习的研究做铺垫。SNN（脉冲神经网络)被称为第三代神经网络，与感知机和BP神经网络相比，SNN的模型更加接近人脑中的神经元细胞，更接近生物神经元机制。脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN使用的脉冲是在一个时间点内所发生的离散事件，并不是连续的值。
2024-12-11 13:28:35
757
原创 12.1-12.7学习周报
本周主要学习了k邻近算法的原理和应用场景，了解了持续学习的有关概念和原理。下周将对持续学习的应用进行更深入的了解。
2024-12-07 21:06:51
1135
1
原创 11.24-11-30学习周报
本周学习了双向Transfomer的经典产物BERT，了解了BERT如何进行预训练以及BERT的相关应用。还学习了LNN液态神经网络的相关知识。2020年，麻省理工学院（MIT）的两名研究人员带领团队推出了一种基于现实生活中的自然智能、而非人工智能的新型神经网络。他们从微小的秀丽隐杆线虫（Caenorhabditis elegans）中汲取灵感，尽管这种微生物的神经系统只有302个神经元，但却能够产生复杂的行为。
2024-11-27 21:38:26
922
原创 11.17-11.23学习周报
本周主要对正则化解决拟合问题的具体过程和公式推导进行了详细复习，以及重新温习了SNN有关的概念和优势。。本周对之前学习的拟合问题和SNN进行了复习，计划在下周对GAN进行相应的学习。
2024-11-23 11:50:55
887
原创 11.10-11.17学习周报
本周学习了脉冲神经网络的相关概念，了解了脉冲神经网络的原理，理解了膜电位和突触的工作过程，能够自己手动搭建一个脉冲神经网络来实现一些小实验。脉冲神经网络（Spiking Neural Networks，简称SNNs）是一种模拟生物大脑神经元行为的计算模型，它通过模拟神经元发放脉冲（或称为尖峰）的方式来传递信息。与传统的人工神经网络不同，SNNs在信息处理上更加接近生物神经系统的工作方式。本周学习脉冲神经网络的相关内容，下周将复习之前学过的相关内容。
2024-11-15 13:34:04
801
原创 11.3-11.10学习周报
本周学习了k临近算法，手动用代码来搭建transformer来加深对transformer的理解。kkk-近邻法”(k-Nearest Neighborhood, kNN) 是一种常用的监督学习方法。kkk-近邻法主要思想：给定测试样本，训练集中基于某种距离度量找出与该测试样本最邻近的kkk个实例，根据这kkk个邻居的信息来进行预测。分类任务中可以使用“投票法”；回归任务中可使用“平均法”。本节讨论分类任务中的kkk-近邻法，使用投票法，即某新输入样本最邻近kkk。
2024-11-09 13:46:50
638
原创 10.27-11.3学习周报
本周学习了注意力机制的原理和种类，理解了自注意力机制的工作过程，以及不同注意力机制之间的区别和比较。还学习了Transformer框架的构成，原理和工作流程。下周会通过代码来更加深刻地去理解Transformer的原理和工作过程。
2024-11-02 14:42:17
620
原创 【10.21-10.28学习周报】
这周学习了决策树的基本概念以及如何构建决策树和进行特征选择。学习了RNN的两个变种LSTM和GRU，理解了注意力机制的计算过程和应用。下周学习自注意力和Transfomer框架。
2024-10-24 16:45:34
711
原创 10.14-10.20学习周报
本周学习了在模型训练中如何解决高偏差/欠拟合，和高方差/过拟合，了解了如何运用学习曲线来评估模型，学习了RNN和LSTM的工作原理和基本概念。本周还学习了一般模型的完整训练套路，模型训练是个很复杂的过程，有一个固定模板和框架可以帮助我们更好地学习训练模型。传统的神经网络无法处理含时间序列的参数(结果受时间影响)，假设我们有个时间序列(t1,t2,t3…tn),对于传统的的神经网络，不同时刻输入的参数是独立的，它们无法因为时间序列而关联起来，这时就需要我们的RNN神经网络。
2024-10-19 15:39:09
784
原创 10.7-10.13学习周报
本周学习了如何根据网络结构图自己搭建一个CNN神经网络，学习了如何使用损失函数和优化器，结合之前所学知识自己手写了一个数字识别的CNN，了解了模型评估的过程和方法。learn_rate = 0.001 # 学习率# 定义损失函数本周基本结束了对CNN的学习，将在下周开始对RNN进行学习，并且开始学习训练模型的套路.
2024-10-11 19:02:14
705
原创 9.30-10.6学习周报
本周完整地学习了卷积神经网络CNN的所有内容，理解影响卷积结果的各种因素，理解卷积层和池化层的工作原理和过程，能够使用代码来构建卷积操作和池化操作。还学习了如何使用非线性函数对我们的矩阵和图像进行处理。下周开始尝试构建一整个完整的CNN来对数据集进行训练，并且准备开始对RNN进行学习。
2024-10-04 16:21:15
1045
原创 9.23-9.29学习周报
本周开始了神经网络的学习，了解了神经网络的结果，各层功能，理解前向传播和反向传播的原理和代码。并且开始进行cnn有关方面的学习，了解了cnn的应用和cnn的结构作用，能够理解卷积层所谓的"卷积"操作是如何进行的，能够手动推算过程。pytorch本周学习了DataLoader可以更方便地迭代训练数据集，学习了用nn.module来搭建神经网络。提示：以下是本篇文章正文内容，下面案例可供参考下周继续对cnn进行理论和代码相结合的学习，争取能够用代码来构建cnn对图片进行处理。
2024-09-27 22:21:23
773
1
原创 【9.16-9.22学习周报】
这周主要学习了逻辑回归模型，已经出现过度拟合问题时如何对代价函数正则化以解决过度拟合。学习Pytorch框架中各种Transform的使用。此外这周还对我的导师的研究方向人工智能情感模型进行了调研，了解人工智能情感模型的研究背景和意义。由于我的导师研究方向是人工智能情感大模型，所以这周我特地对该方向的研究背景和未来的研究方向做了一个调研。这周学习了正则化，理解了如何通过正则化来解决过度拟合问题。还学习pytorch中各种transform的使用以及通过tensorvision来调用我们想要的训练集。
2024-09-21 20:57:19
944
原创 【9.9-9.15学习周报】
本周注意要对梯度在线性回归中的应用、梯度下降在多元中的应用以及如何选取学习率进行了学习。此外学习了pytorch中的Dataset抽象类来表示数据集，运用TensorBoard来查看用于查看训练过程中的各种指标和模型结构，以及学习了正则表达式的相关知识。本周继续跟进学习了线性回归和梯度下降更加深入的知识，同时开始pytorch框架有关代码的学习。计划在下周继续更加地深入学习机器学习的相关理论内容，同时学习transforms和Dataload的使用，为推进神经网络的理论和代码同时学习做好准备。
2024-09-13 22:28:41
657
原创 9.1-9.8学习周报
从本周开始正式学习了机器学习的有关内容。首先了解了机器学习的分类和基本步骤，通过一个关于某社交平台浏览量预测的例子更好地去了解机器学习的具体过程和其中用到的function以及数学思想。此外还认识了深度学习中常用的激活函数，学习了通用模型、代价函数和梯度的相关知识点。机器学习是人工智能的一个分支，它使计算机能够从数据中学习并做出预测或决策，而无需明确编程。监督学习：使用带标签的数据来训练模型，例如分类（预测类别）和回归（预测数值）。无监督学习。
2024-09-07 16:33:00
845
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人