【Transformers源码】分词器的一点尝试

add_tokens和add_special_tokens一点点尝试

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from transformers import BertTokenizer


def show_token_info(input_str, my_tokenizer):
    print("vocab_size: ", my_tokenizer.vocab_size)
    encode_info = my_tokenizer([input_str])
    convert_token_list = my_tokenizer.convert_ids_to_tokens(encode_info[
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值