IBM扩展Granite代码模型到128K上下文

最新推荐文章于 2025-08-14 12:19:48 发布
最新推荐文章于 2025-08-14 12:19:48 发布
阅读量1k 收藏 7
点赞数 17
CC 4.0 BY-SA版权
分类专栏： AGI通用人工智能 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_36829761/article/details/140598881

随着代码库级别任务（Liu et al., 2024; 2023b）和软件开发代理（OpenDevin Team, 2024）的发展，长上下文长度成为代码语言模型的重要特性。虽然许多专有的大型语言模型，如GPT-4、Gemini和Claude，支持非常长的上下文窗口，但大多数开源代码语言模型只能提供相对较短的上下文窗口（CodeGemma Team et al., 2024; Rozière et al., 2023）。这种短上下文长度限制了开源代码语言模型在实际软件开发中的实用性。

本文介绍了支持有效上下文长度达128K的Granite代码3B和8B系列代码语言模型。为了实现扩展的上下文长度，我们首先通过存储库级代码语料库和上采样长上下文存储库对Granite代码3B/8B基础模型进行持续预训练。然后，我们在短上下文和长上下文指令数据的组合上对持续预训练的模型进行指令微调。由于缺乏长上下文指令数据，我们通过我们的原始Granite-8B-Code-Instruct模型从存储库级文件打包文档生成多轮指令数据，以避免对现有长上下文模型的依赖。

长上下文建模

我们的扩展Granite代码模型上下文长度的方法包括持续预训练和指令微调阶段。类似于之前的工作（Fu et al., 2024），我们假设在大型预训练过程中，模型已经获得了使用任意输入位置信息的能力，这种能力可以通过对适当数据混合进行轻量级训练，扩展到远超原始预训练期间所见的上下文长度（例如，从4K扩展到128K）。

持续预训练

我们使用序列并行化（Li et al., 2021）通过逐渐增加RoPE基频来持续预训练全注意力Granite代码基础模型，而不使用任何稀疏或

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IBM推出128K上下文窗口的Granite开源代码模型
步子哥的博客
07-22 657
在人工智能和软件开发的交叉点上,一场悄然无声的革命正在发生。IBM研究院近日发布了一系列突破性的开源代码模型,这些模型不仅支持长达128K tokens的超长上下文窗口,还在各项基准测试中展现出卓越的性能。这一重大进展有望彻底改变开发者与AI助手协作编码的方式,为软件工程领域带来新的可能性。
LLMs之HumanEval：HumanEval的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-29 2774
​ LLMs之HumanEval：HumanEval的简介、安装、使用方法之详细攻略 目录 HumanEval的简介 HumanEval的安装 HumanEval的使用方法 HumanEval的简介 HumanEval(手写评估集)，这是用于评估《Evaluating Large Language Models Trained on Code》论文中描述的HumanEval问题解决数据集的评估工具。 GitHub地址：GitHub - openai/human-eval: Code for
符尧：仅靠数据工程我能将LLM的上下文检索能力拓展到128K
hxshine的博客
03-07 1665
原来的工作例如[1]认为，长期上下文建模是一种新的能力，必须通过大规模训练来“注入”。这导致在基础模型上（例如Llama系列）进行上下文长度拓展，需要大量的数据继续训练才能获得这个能力。作者假设在大规模预训练中通常已经获得了利用任意输入位置信息的长上文建模能力，且这种能力可以通过轻量级的持续预训练与适当的数据混合轻松扩展到训练期间未见过的更长上下文（例如，从4K扩展到128K）。LLM的上下文长度非常重要，作者尝试从数据工程的角度，通过继续预训练来扩展LLM上下文的长度。
论文导读：消费级大模型Yi （零一万物技术揭密）
渡江客涂鸦板
03-10 7449
Yi模型家族是一系列展示出强大多维能力的自然语言和多模态模型。Yi模型家族基于6B和34B预训练语言模型，然后我们将其扩展到聊天模型、20万长上下文模型、深度扩展模型和视觉-语言模型。
通义千问 - Code Qwen能力算法赛道季军方案
yanqianglifei的专栏
01-07 2381
Human Eval- HumanEval是一个用于评估代码生成模型性能的数据集，由OpenAI在2021年推出。这个数据集包含164个手工编写的编程问题，每个问题都包括一个函数签名、文档字符串（docstring）、函数体以及几个单元测试。这些问题涵盖了语言理解、推理、算法和简单数学等方面。这些问题的难度也各不相同，有些甚至与简单的软件面试问题相当。这个数据集的一个重要特点是，它不仅仅依赖于代码的语法正确性，还依赖于功能正确性。也就是说，生成的代码需要通过所有相关的单元测试才能被认为是正确的。
LLMs之Text2SQL：大语言模型场景实战案例应用—让查询和问答应用更智能(利用LLMs与数据库交互)—Text2Sql任务的简介、三类六大技术方案(LLM/RAG/ETA等)、排行榜平台(如Sp
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-26 1480
​ LLMs之SQL：大语言模型场景实战案例应用—让查询和问答应用更智能(利用LLMs与数据库交互，比如法律合同/简历/财务数据/客户支持)、多种技术方案(LLM/RAG等) 目录 相关文章 Spider数据集的简介 LLMs场景实战案例：查询(定位到准确目标)、搜索(查找到一个范围) 现有案例实战应用 相关文章 LLMs：《Building LLM applications for production构建用于生产的LLM应用程序》翻译与解读 LLMs：《Building LL
使用 Spring AI 和大型语言模型（LLM）生成 Java 测试
qq_28791753的博客
10-29 1986
提供要测试的类的 URL，然后加载该类，分析导入内容，并加载项目中的依赖类。它获取用于生成测试的类的 URL 和可选的 testUrl 示例测试。该方法返回 GithubSources，包括要测试的类的源代码、项目中的依赖项和测试示例。{contextClasses} 可以替换为被测类的依赖类，{testExample} 是可选的，可以替换为作为代码生成示例的测试类。) 方法使用 GitHub 源代码 URL 的源代码，根据 referencedSources 的值提供项目中依赖类的源代码记录。
LlamaIndex：解锁LLM潜力的数据编排利器
kcarly的专栏
06-04 474
LlamaIndex是一个开源的数据编排框架，专为构建基于大语言模型（LLM）的应用而设计。它通过高效的数据索引和检索机制，连接LLM与外部数据源，实现上下文增强生成。核心功能包括多源数据适配、多样化索引（向量存储、摘要、知识图谱等）和检索增强生成（RAG）。适用于企业知识管理、法律合规、教育科研等场景。与LangChain相比，LlamaIndex更专注于RAG任务，开发门槛较低但扩展性稍逊。开发者评价其高效灵活，但处理超大规模数据时存在计算资源消耗问题。总体而言，LlamaIndex是LLM数据接入的重
用短输入模拟长样本，高效拓展LLM上下文窗口，北大联合MSRA提出PoSE
Paper weekly
03-01 1106
©PaperWeekly 原创 ·作者 |朱大卫单位 |北京大学计算语言所博士生研究方向 |长上下文建模论文题目：PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training论文链接：https://arxiv.org/abs/2309.10400代码链接：https://github....
LLM长上下文外推方法
Swift's Blog
03-10 902
下面是一些提升LLM长度外推能力的方法总结：more。
数据集综述
weixin_42359728的博客
02-19 281
本文对大语言模型（LLM）的数据集展开探索，这些数据集在大语言模型的显著进展中起着关键作用。数据集就如同支撑和培育大语言模型发展的根系，是其基础架构。因此，对这些数据集的研究成为一个关键的课题。为了解决当前对大语言模型数据集缺乏全面概述和深入分析的问题，并深入了解其现状和未来趋势，本综述从五个角度对大语言模型数据集的基本方面进行了整合和分类：（1）预训练语料库；（2）指令微调数据集；（3）偏好数据集；（4）评估数据集；（5）传统自然语言处理（NLP）数据集。本综述揭示了当前面临的挑战，并指出了未来研究的潜在
如何将大模型的上下文扩展至百万级
机器学习社区
08-10 1385
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。如果把 LLM 比作新时代的操作系统，上下文窗口便是它的「内存」。
【15】Transformers快速入门：添加自定义 Token
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
08-13 1081
预训练模型的词表是固定的。它不认识你自定义的特殊标记（如实体标记、领域术语、新表情符号等）。掌握如何向预训练模型的分词器和词表中添加新的 Token（包括普通 Token 和特殊 Token），理解其对模型的影响，并学会正确调整模型权重。新 Token 的 ID（30523, 30524）在模型的 Embedding 矩阵里。想象一下，你给模型一个任务：“找出文本里的汽车和隧道实体”。增加了词表大小（比如从 30522 增加到 30524），模型的 Embedding 矩阵（这里标记了一个实体！
【论文阅读】基于表面肌电信号的下肢多关节运动估计：一种深度卷积神经网络方法
最新发布
qq_60423839的博客
08-14 384
本文提出一种基于多通道表面肌电信号(sEMG)和深度卷积神经网络(CNN)的下肢多关节运动估计方法。研究采集了骑行和步行任务中的7通道sEMG信号，通过带通滤波、全波整流等预处理后构建CNN模型，用于估计髋、膝、踝关节角度。实验结果表明，所提CNN模型在骑行任务中三个关节的估计均方根误差分别为3.8886°、2.8199°和3.1148°，精度显著优于传统BPNN和RBFNN模型。该研究为下肢康复外骨骼的人机交互控制提供了理论基础，未来将探索sEMG时频特征对模型的影响及非理想环境下的意图识别问题。
敏感数据目录是什么？如何快速构建企业自身的敏感数据目录
yuandiansec的博客
08-13 1028
敏感数据目录能力是数据安全的起点
从静态模型到数字生命体：自进化AI Agent综述
zenRRan的博客
08-13 800
部署后无法适应动态环境（如用户需求变化、新工具出现）。例如，医疗诊断智能体遇到新疾病时需工程师手动调整，效率低下。近年大型语言模型（LLM）的突破催生了AI智能体的发展，它们能自主规划、使用工具解决复杂任务（如编程、科研）。：树状思维（Tree-of-Thought）探索多推理路径，避免单一错误。：将自然语言反馈视为“梯度”，反向优化提示（如TextGrad框架）。：将提示视为基因，通过突变、交叉筛选最优解（如EvoPrompt）。：AI智能体不仅是工具，更是能持续学习、适应、协作的“数字生命体”。
CVPR 2025 | 即插即用，极简数据蒸馏，速度up20倍，GPU占用仅2G
AImokuai的博客
08-11 1807
本文提出了一种创新的神经特征函数匹配（NCFM）方法用于高效数据集蒸馏。该方法通过构建minmax对抗优化框架，引入神经特征函数差异（NCFD）作为新的分布度量指标，在复数空间实现数据特征的对齐。NCFM具有三大创新点：1）基于复数相位和振幅解耦的神经特征函数度量；2）动态采样网络实现高效计算；3）层级式特征对齐机制。实验表明，在CIFAR-100等数据集上，NCFM相比现有方法内存消耗降低300倍，处理速度提升20倍，同时保持无损压缩效果，为低资源环境下的模型训练提供了新范式。该方法在边缘计算、隐私保护数
【Python】文本相似度计算方法全解析：从理论到实践
采菊东篱下，Python满乾坤！
08-12 1747
在自然语言处理、信息检索和数据清洗等领域，计算文本相似度是一个基础而重要的任务。无论是检测重复文档、拼写纠错，还是推荐系统，都需要准确地衡量两个文本之间的相似程度。本文将深入解析多种文本相似度计算方法，帮助您选择最适合的算法。文本相似度是指两个文本在内容、结构或语义上的相近程度。通常用0到1之间的数值表示，0表示完全不同，1表示完全相同。文本长度: 短文本适合 Dice 系数，长文本适合余弦相似度计算性能: 汉明距离最快，Levenshtein 较慢但精确应用场景。
直播预告｜鸿蒙生态中的AI新玩法
GitCode
08-13 745
将分享如何利用AI技术为鸿蒙生态注入新活力，打造更智能的产品体验。从理论到实践，深入解析智能体的核心逻辑及其在鸿蒙生态中的应用场景。无论你是初学者还是资深开发者，这场直播都能为你带来启发与收获！手把手教你如何基于鸿蒙系统，快速搭建属于自己的智能体项目！高级开发者必备的实战经验与优化策略，助你突破技术瓶颈。想知道鸿蒙生态里 AI 能玩出啥新花样？鸿蒙生态中的 AI 新玩法-优快云直播。对智能硬件与生态开发感兴趣的极客。黄紫妍 | HarmonyOS。AI赋能鸿蒙产品开发。
Crystal语言的Granite-ORM：适配mysql, pg, SQLite的ORM模型
综合以上信息点，我们可以得出Granite-ORM是一个用Crystal语言编写的、支持多种数据库的ORM工具，具有良好的可扩展性，并且可以在多个框架中使用，但与Amber框架的兼容性最佳。它作为开源项目，允许社区贡献和共同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

步子哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值