- 博客(18)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Colossal-AI: 一种统一的大规模分布式训练系统
论文《Colossal-AI: 大规模并行训练的统一深度学习系统》介绍了Colossal-AI系统，这是一个为大规模分布式训练设计的开源深度学习平台。Colossal-AI系统通过提供统一的接口，支持数据并行、管道并行、张量并行和序列并行等方法，以及零冗余优化方法，帮助用户轻松实现高效的大规模模型训练。以下是论文摘要的主要内容总结：总结来说，Colossal-AI系统为深度学习提供了统一的并行训练接口和多种优化技术，能够有效提升大规模模型的训练性能。论文《Colossal-AI: 大规模分布式训练统一深度学
2025-03-08 13:51:56
840
原创 学习约束聚类以实现高效密集检索中的离散表示学习
RepCONC 通过将量化过程建模为约束聚类过程，联合训练双编码器和产品量化（PQ）方法，从而学习离散文档表示。约束聚类：约束聚类要求文档嵌入围绕量化中心均匀聚类，并引入了均匀聚类约束，确保向量被均匀分配到所有量化中心。产品量化（PQ）：产品量化是一种用于近似最近邻搜索的向量压缩方法，通过将高维向量分割成多个子向量并分别量化到最近的量化中心来实现。均匀聚类约束：通过将约束聚类问题转换为最优传输问题的实例，提出了一种近似解决方案，以确保量化向量的均匀性。
2025-03-08 13:50:22
822
原创 基于核化相对位置嵌入的长度外推框架：KERPLE
通过提出KERPLE框架，该研究成功地将相对位置嵌入泛化到长度外推问题上，显著提高了模型在长序列上的推理能力。未来的研究可以进一步探索更复杂的核函数和参数学习方法，以进一步提高模型的泛化能力和效率。
2025-03-08 13:50:05
1012
原创 预训练提示调优（PPT）：面向少样本学习的提示调优新框架
PPT提供了一种有效的方法来改进提示调优，特别是在少量样本学习场景中。通过预训练软提示，PPT不仅提高了模型性能，还保持了参数效率，适用于大规模预训练语言模型的广泛应用。PPT（预训练提示调优）是一种将预训练语言模型（PLMs）与提示调优相结合的新方法。PPT 在保留了 PLMs 的大规模训练优势的同时，通过预训练提示来优化下游任务，从而在各种数据量条件下提供了更好的性能。PPT 的提出旨在解决 PLMs 在小样本学习（Few-shot Learning）中的应用问题，特别适用于资源受限的场景。
2025-03-07 20:34:40
865
原创 改进视觉变换器在无预训练和强数据增强情况下的性能超越ResNet：通过优化锐化意识最小化平滑损失几何结构
数据集：主要使用的是ImageNet数据集，用于训练和评估模型。训练方法：使用了基本的Inception风格的数据预处理方法。在某些实验中，还使用了混合增强（mixup）和随机增强（RandAugment）。实验设置预训练：使用ImageNet-21k进行预训练。训练超参数：包括学习率、权重衰减、Dropout等。模型架构：包括不同大小的Transformer模型（如ViT-S/16, ViT-B/16）和MLP Mixers模型（如Mixer-S/16, Mixer-B/16）。优化器。
2025-03-07 20:33:56
582
原创 高效计算大规模语料库中词向量的新模型架构
参数：- vocab_size: 词汇表大小- embedding_dim: 词向量维度- window_size: 上下文窗口大小- learning_rate: 学习率- num_epochs: 训练轮数- batch_size: 批次大小。
2025-03-07 20:33:23
690
原创 大型语言模型在数学自动形式化中的新前景
数学竞赛问题从数学竞赛中选取了具体问题进行自然语言到形式化语言的翻译。这些问题是来自MATH数据集中的代数和数论题目。例如，竞赛中的数学题目如：“证明不存在从非负整数集到自身的函数f，使得f(f(n)) = n + 1987对所有n成立。这些题目被人工挑选出来进行自然语言到Isabelle代码的翻译。MiniF2F数据集该数据集包含488个人工形式化的数学竞赛陈述，使用了三种不同的形式化语言。这些题目部分来自于MATH数据集中代数和数论的训练集，部分来自于国际数学奥林匹克竞赛以及AoPS。
2025-03-07 20:32:53
669
原创 大规模语言模型驱动的蛋白质结构预测方法及其创新
该论文详细介绍了使用语言模型预测原子级蛋白质结构的方法和结果。：论文使用了UniRef50和UniRef90作为训练数据集，并通过随机选择250,000个序列作为验证集，并从训练集中移除了一些序列。训练数据集经过了严格的过滤，以去除人工序列和设计的蛋白质序列，确保模型能够泛化到新颖的序列上。：使用ESMFold模型训练时，选择PDB数据库中2020年5月1日前分辨率小于或等于9Å且长度大于20的蛋白质链进行训练。使用AlphaFold2生成的结构预测，筛选出pLDDT大于70的序列。
2025-03-07 20:32:00
1024
原创 基于长短期记忆网络的复杂序列生成方法
这篇文档展示了LSTM在生成复杂序列方面的强大能力，特别是在处理长距离依赖关系和生成高质量的文本和手写数据方面。通过条件生成模型，LSTM能够模仿特定的书写风格，生成多样化的高质量数据。这些技术不仅在学术领域具有重要意义，也为实际应用提供了新的可能。
2025-03-07 20:31:27
1015
原创 视觉Transformer：图像识别的新视角 （Vision Transformer: A New Perspective for Image Recognition）
本文展示了直接将Transformer应用到图像识别中的可行性，特别是通过大规模预训练显著提高了其在复杂图像识别任务上的性能。这为未来在计算机视觉中的应用提供了新的方向。目标: 将Transformer架构直接应用于图像识别任务，而不需要依赖卷积神经网络(CNN)。主要贡献: 证明了纯Transformer可以直接处理图像patch序列，并在大规模预训练后取得优秀的图像分类性能，同时在计算资源需求上优于传统CNN。应用场景。
2025-03-07 20:30:46
548
原创 超大规模生成式中文预训练语言模型：CPM的构建与应用
本文介绍了清华大学与BAAI联合发布的中文预训练语言模型（Chinese Pre-trained Language Model, CPM）。CPM是一个基于生成预训练的大规模中文语言模型，包含26亿参数和100GB中文训练数据，是目前最大的中文预训练语言模型。它能够在对话生成、文章生成、填空测试和语言理解等多种下游中文NLP任务中表现出色。实验结果表明，CPM在零样本甚至少样本设置下实现了较强的任务性能。模型通过构造新的子词词汇表并调整训练批大小来适应中文语料库，同时通过增加参数量来提升模型性能。
2025-03-07 20:29:49
654
原创 深度数据效率：通过高效数据采样和路由提高大规模深度学习模型的质量和训练效率
模型和数据集GPT-3 1.3B：使用了公共数据集《Pile》进行预训练。BERT-large：使用了公共数据集《Pile》进行预训练。GPT-2 350M：使用了PTB（Penn Treebank）数据集进行微调。ViT：使用了CIFAR10、CIFAR100和ImageNet数据集进行微调。数据集详细信息Pile：一个包含800GB多样化文本的数据集，用于语言模型预训练。PTB：Penn Treebank数据集，用于GPT-2的微调。
2025-03-07 20:29:00
552
原创 Muse: 使用掩码生成变换器的文本到图像生成
本文介绍了Muse，一种基于掩码生成变换器的文本到图像生成模型，该模型在图像生成性能方面达到了最先进的水平，同时在效率方面显著优于扩散模型和自回归模型。Muse通过预训练大型语言模型（LLM）的掩码建模任务进行训练，该任务在离散标记空间中进行。与基于像素空间扩散模型（如Imagen和DALL-E 2）相比，Muse利用离散标记显著提高了效率；与基于自回归模型（如Parti）相比，Muse通过并行解码提高了效率。
2025-03-07 20:28:18
962
原创 PAL:程序辅助语言模型
本文介绍了一种名为PAL（Program-Aided Language Models）的新方法，该方法通过使用程序作为中间推理步骤来解决自然语言推理问题。与基于语言模型的方法不同，PAL的创新之处在于将计算和推理步骤卸载到Python解释器上，而不是让语言模型同时承担理解和解决问题的任务。这一方法确保了最终答案的准确性，前提是正确的程序被预测出来。研究团队在13个来自BIG-Bench Hard等不同基准测试的数学、符号和算法推理任务上展示了PAL的性能。
2025-03-07 20:27:49
911
原创 基于动态架构与智能体团队优化的大语言模型协作框架
公开数据集MATH：用于评估算术推理任务，包含5000道测试题，涵盖7个子领域（如代数、几何、概率等）。MMLU：用于评估通用推理任务，包含57个学科的广泛问题，测试集经过下采样以减少数据量。HumanEval：用于评估代码生成任务，包含164个人工标注的函数级代码补全和单元测试。开源代码库论文中提到的角色和提示模板部分来源于开源代码库，具体包括：其他相关研究项目（如LLM Debate、Reflexion、PHP等）的代码和提示模板。GPT模型生成。
2025-03-07 12:59:27
816
原创 基于纯卷积网络的现代化设计：ConvNeXt在视觉任务中的竞争力
论文《A ConvNet for the 2020s》探讨了在视觉识别领域，Transformer模型（如Vision Transformers, ViTs）逐渐取代传统的卷积神经网络（ConvNets）成为主流的背景下，ConvNets是否仍能通过现代化设计达到与Transformer相当的性能。作者通过逐步“现代化”标准的ResNet模型，借鉴Transformer的设计理念，提出了一种纯卷积神经网络模型——ConvNeXt。
2025-03-07 12:56:42
560
原创 3D-LLM：将三维世界注入大型语言模型
3D-LLM技术的主要应用场景涵盖了从3D场景描述、问答、任务分解到导航等多个方面，适用于虚拟现实（VR）、增强现实（AR）、机器人导航、智能家居等需要结合3D场景理解和自然语言处理的领域。通过将3D信息注入大语言模型，3D-LLM能够更好地理解和推理3D物理世界，从而提供更智能化的服务。
2025-03-07 12:44:41
676
原创 320 亿参数 “小个子” 逆袭，QwQ-32B 成大模型界新宠
新模型的发布总是能吸引众多目光，而的出现，无疑是一颗重磅炸弹，瞬间引发了广泛的关注和热议😎。这款由阿里旗下通义千问 Qwen 团队推出的推理模型，拥有 320 亿参数，却在性能上展现出了令人惊叹的实力，可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 相媲美，堪称大模型界的一匹新 “黑马”🐎。在如今这个参数竞赛激烈的大模型时代，大家往往认为模型参数越多，性能就越强。
2025-03-07 12:37:58
1662
1
猫狗分类自写.zip
2020-12-17
auto_Click_Mouse.zip
2020-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人