【已解决】TypeError: __init__() got an unexpected keyword argument ‘min_freq‘,《动手深度学习Pytorch》李沐

问题描述:

在运行第十章的如下部分代码时,

def get_vocab_imdb(data):
    tokenized_data = get_tokenized_imdb(data)
    counter = collections.Counter([tk for st in tokenized_data for tk in st])
    return Vocab.Vocab(counter, min_freq=5)

vocab = get_vocab_imdb(train_data)
'# words in vocab:', len(vocab)

出现报错:

问题解决:

该问题产生于 torchtext 由于版本不同而导致接口不一致,我使用的版本为 0.14.1(使用 pip show torchtext 可查看当前的版本):

修改 get_vocab_imdb 函数,在其中添加筛选频率逻辑即可(手动实现),使用如下的代码即可正常运行:

def get_vocab_imdb(data, min_freq=5):
    tokenized_data = get_tokenized_imdb(data)
    counter = collections.Counter([tk for st in tokenized_data for tk in st])
    
    # 手动过滤低频词
    filtered_counter = {token: freq for token, freq in counter.items() if freq >= min_freq}
    
    return Vocab.Vocab(filtered_counter)

# 示例
vocab = get_vocab_imdb(train_data, min_freq=5)
print('# words in vocab:', len(vocab))

输出:

# words in vocab: 46150
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值