词语过滤与词向量化方法的基础知识

词语过滤和词向量化是自然语言处理（NLP）中常用的技术方法。词语过滤用于从文本中筛选出特定类型的词语，而词向量化则将词语转换为数值向量表示，以便计算机能够理解和处理。本文将介绍一些常见的词语过滤和词向量化方法，并提供相应的代码示例。

1. 词语过滤方法

1.1 停用词过滤
停用词是指在文本处理中没有实际含义或很少提供信息的常见词语，如"的"、“是”、"在"等。停用词过滤的目的是将这些词语从文本中移除，以减少噪音和数据维度。以下是一个示例代码，演示如何使用Python中的nltk库进行停用词过滤：

import nltk
from nltk.corpus import stopwords

def remove_stopwords(text)