NLP之滑动窗口函数

不二郭

于 2019-07-05 22:45:30 发布

阅读量919

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_43957426/article/details/94775151

版权

这篇博客介绍了如何使用Python实现NLP中的滑动窗口函数，通过正则表达式提取英文单词，并创建词袋模型。文章展示了`compute_ngrams`函数的详细步骤，包括对输入字符串进行预处理、分割单词、生成不同长度的n-gram以及处理带有标签的词汇。示例代码演示了在'cad模具设计'这个字符串上的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import re


def compute_ngrams(word):
    # BOW, EOW = ('<', '>')  # Used by FastText to attach to all words as prefix and suffix
    pattern = r'[a-zA-Z]+'
    re.findall(pattern, word)

    extended_word,tag_dict = segword(word)
    # print(extended_word,tag_dict)
    min_n = 2
    max_n = len(extended_word)

    ngrams = []
    for ngram_length in range(min_n, min(len(extended_word), max_n) + 1):
        for i in range(0, len(extended_word) - ngram_length + 1):
            new_word = extended_word[i:i + ngram_length]
            new_word2 = new_word
            if len(new_word) == 1:
                continue
            if len(tag_dict) == 0:
                ngrams.append(new_word)
            else:
                for c in new_word:
                    if c.encode('utf-8').isalpha():
                        new_word2 = new_word2.replace(c,tag_dict[c]+' ')