python处理文本使用n-gram方法

最新推荐文章于 2022-08-08 19:54:25 发布

原创最新推荐文章于 2022-08-08 19:54:25 发布 · 8.5k 阅读

7 ·

CC 4.0 BY-SA版权

python学习专栏收录该内容

100 篇文章

订阅专栏

本文介绍了两种不同的3-gram特征提取方法，一种是通过滑动窗口的方式从查询字符串中生成连续的三个字符组合，另一种是由zgd提出的方法，不仅生成3-gram，还统计了每个3-gram出现的频率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#tokenizer function, this will make 3 grams of each query
def get_ngrams(query):
    tempQuery = str(query)
    ngrams = []
    for i in range(0,len(tempQuery)-3):
        ngrams.append(tempQuery[i:i+3])
    return ngrams


#by zgd
def get_ngrams_zgd(input):
    output = {}
    n = 3
    for i in range(len(input) - n + 1):
        ngramTemp = " ".join(input[i:i + n])
        if ngramTemp not in output:
            output[ngramTemp] = 0
        output[ngramTemp] += 1
    return output