- 博客(3)
- 收藏
- 关注
RSS订阅原创 关于input_ids,attention_mask,token_type_ids
今天我们来聊一聊关于,, 关于这三个核心张量首先,在使用 BERT 模型（或其衍生模型）进行文本处理时，、 和 是模型输入层的三大核心张量，它们共同将原始文本转换为模型可理解的数值格式。再一个就是他们同时也是 BERT 方法的分词结果的三大输出,同时作为BERT的输入,也就是说他们具有双重身份三者的作用、生成逻辑和含义各不相同，下面我们作以下讨论： 是文本经过 Tokenize（分词）后，每个 Token 对应的唯一整数编码，本质是将 “文字” 映射为 “模型能计算的数字”，相当于给每个 Token
2025-10-11 20:30:00
797
原创 程序的内存四区之全局区（程序运行前）
全局区包括：全局变量，静态变量，常量（字符串常量，const修饰的全局变量）而其余不在全局区的则包括：局部变量，const修饰的局部变量（也称局部常量）同学们可以试着把我的源代码在编译器里面运行一下，每次运行结果是不一样的，因为每次运行时分配的存储地址不同，且每次程序运行完后，变量的存储空间都会被释放，所以大家可以多运行几次，但是虽然变量存储的地址发生了变化，但是他们之间地址的相对位置不会发生改变，也就是说他们该是谁和谁挨着分配地址，他们还是挨着的。
2023-12-27 11:54:33
432
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人