百川Dynamic NTK-ALiBi的代码实现：无需微调即可推理更长文本

最新推荐文章于 2025-06-01 17:18:47 发布

ToTensor

最新推荐文章于 2025-06-01 17:18:47 发布

阅读量1.5k

点赞数 1

分类专栏： NLP成长之路大模型通关打怪之旅文章标签： pytorch python 深度学习

本文链接：https://blog.youkuaiyun.com/qq_44193969/article/details/132523803

版权

大模型通关打怪之旅同时被 2 个专栏收录

13 篇文章 ¥99.90 ¥299.90

订阅专栏

NLP成长之路

42 篇文章

订阅专栏

本文介绍了如何在PyTorch中实现NTK-ALiBi，一种无需微调就能处理长文本的位置编码技术。通过在百川模型文件夹中增加和修改函数，实现了大模型的推理能力。提供了完整代码仓库链接以供参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言
代码实现
完整代码

前言

NTK-ALiBi原理：NTK-ALiBi：通过插值实现大模型ALiBi位置编码的长文本外推

代码实现

打开百川模型文件夹中的modeling_baichuan.py

1、增加build_dynamically_alibi_tensor函数：

def build_dynamically_alibi_tensor(num_heads, max_pos) -> torch.Tensor:
    """Psuedo code for Dynamic NTK-ALiBi."""

    # dynamic ntk factor according to actual sequence length
    a0 = 1.0
    train_seq_len = 4096
    a = a0 * torch.tensor(max_pos) / train_seq_len  # [batch, 1]
    a = a.masked_fill(a < 1.0, 1.0)  # dynamic step 1: dynamic ntk scaling factor

    scale = a

了解本专栏