6、特征提取与多元线性回归：数据处理与模型优化

特征提取与多元线性回归：数据处理与模型优化

在机器学习中，特征提取是将原始数据转换为适合机器学习算法处理的特征的过程。同时，多元线性回归是简单线性回归的扩展，可用于处理多个解释变量。下面将详细介绍特征提取的方法以及多元线性回归的应用。

1. 文本特征提取

1.1 TF-IDF 加权

TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本特征加权方法。它通过计算词频（TF）和逆文档频率（IDF）的乘积来衡量一个词在文档中的重要性。逆文档频率的计算公式为：分子是语料库中的文档总数，分母是包含该词的文档数。

以下是使用 sklearn 中的 TfidfVectorizer 创建 TF-IDF 加权特征向量的示例代码：

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
    "The dog ate a sandwich and I ate a sandwich",
    "The wizard transformed a sandwich"
]
vectorizer = TfidfVectorizer(stop_words='english')
print(vectorizer.fit_transform(corpus).todense())

通过比较 TF-IDF 权重和原始词频，可以发现语料库中许多文档共有的词（如“sandwi