NLP剔除高频停用词

最新推荐文章于 2023-06-05 08:00:00 发布

原创最新推荐文章于 2023-06-05 08:00:00 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#剔除高频停用词

机器学习专栏收录该内容

81 篇文章

订阅专栏

博客主要围绕剔除高频停用词展开，但具体内容缺失。高频停用词剔除在信息技术领域，如自然语言处理等方面有重要作用，可提升数据处理效率和准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

剔除高频停用词减少模型噪音，并加速训练
def remove_fre_stop_word(words):
    t = 1e-5  # t 值
    threshold = 0.8  # 剔除概率阈值

    # 统计单词频率
    int_word_counts = collections.Counter(words)
    total_count = len(words)
    # 计算单词频率
    word_freqs = {w: c / total_count for w, c in int_word_counts.items()}
    # 计算被删除的概率
    prob_drop = {w: 1 - np.sqrt(t / f) for w, f in word_freqs.items()}
    # 对单词进行采样
    train_words = [w for w in words if prob_drop[w] < threshold]

    return train_words