使用Azure/mmlspark中的Vowpal Wabbit进行文本情感分类实战-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00910/article/details/148506356

使用Azure/mmlspark中的Vowpal Wabbit进行文本情感分类实战

SynapseML 项目地址: https://gitcode.com/gh_mirrors/mm/mmlspark

前言

在大数据时代，文本情感分析已成为企业洞察用户意见、优化产品服务的重要工具。本文将介绍如何利用Azure/mmlspark（原SynapseML）中的Vowpal Wabbit组件，构建一个高效的Twitter情感分类模型。Vowpal Wabbit（简称VW）是一个快速、高效的在线学习算法库，特别适合处理大规模数据。

环境准备

首先，我们需要准备以下Python包：

import os
import urllib.request
import pandas as pd
from zipfile import ZipFile
from pyspark.sql.functions import udf, rand, when, col
from pyspark.ml import Pipeline
from pyspark.ml.feature import CountVectorizer, RegexTokenizer
from synapse.ml.vw import VowpalWabbitClassifier
from synapse.ml.train import ComputeModelStatistics
from pyspark.mllib.evaluation import BinaryClassificationMetrics
import matplotlib.pyplot as plt

数据集介绍

我们使用Sentiment140 Twitter数据集，这是一个广泛用于情感分析研究的公开数据集，包含160万条标记过的推文。每条数据包含以下字段：

label：情感标签（0.0=负面，2.0=中性，4.0=正面）
id：推文ID
date：发布日期
query_string：查询字符串
user：发布用户
text：推文内容

数据准备

下载数据

我们首先定义一个下载和解压数据的函数：

DATA_URL = "https://mmlspark.blob.core.windows.net/publicwasb/twittersentimenttrainingandtestdata.zip"
DATA_FOLDER = "data"

def download_data(url, data_folder=DATA_FOLDER, filename="downloaded_data.zip"):
    """下载并解压数据"""
    data_dir = "./" + DATA_FOLDER
    if not os.path.exists(data_dir):
        os.makedirs(data_dir)
    downloaded_filepath = os.path.join(data_dir, filename)
    print("下载数据中...")
    urllib.request.urlretrieve(url, downloaded_filepath)
    print("解压数据中...")
    zipfile = ZipFile(downloaded_filepath)
    zipfile.extractall(data_dir)
    zipfile.close()
    print("数据下载和解压完成。")

download_data(DATA_URL)

数据预处理

读取训练数据并进行预处理：

COL_NAMES = ["label", "id", "date", "query_string", "user", "text"]
ENCODING = "iso-8859-1"
TRAIN_FILENAME = "training.1600000.processed.noemoticon.csv"

df_train = pd.read_csv(
    os.path.join(".", DATA_FOLDER, TRAIN_FILENAME),
    header=None,
    names=COL_NAMES,
    encoding=ENCODING,
)
df_train = spark.createDataFrame(df_train, verifySchema=False)

为了加速训练过程，我们随机抽样10万条数据，并将标签转换为二元分类（0=负面，1=正面）：

df_train = (
    df_train.orderBy(rand())
    .limit(100000)
    .withColumn("label", when(col("label") > 0, 1.0).otherwise(0.0))
    .select(["label", "text"])
)

模型构建

特征工程

我们使用以下步骤构建特征：

使用正则表达式分词器将文本分割为单词
使用词频统计将单词转换为特征向量

tokenizer = RegexTokenizer(inputCol="text", outputCol="words")
count_vectorizer = CountVectorizer(inputCol="words", outputCol="features")

Vowpal Wabbit模型配置

VW模型配置关键参数：

loss_function=logistic：使用逻辑回归损失函数
quiet：减少输出信息
holdout_off：不使用保留集
numPasses=10：数据迭代次数

args = "--loss_function=logistic --quiet --holdout_off"
vw_model = VowpalWabbitClassifier(
    featuresCol="features", labelCol="label", passThroughArgs=args, numPasses=10
)

构建Pipeline

将特征工程和模型组合成Pipeline：

vw_pipeline = Pipeline(stages=[tokenizer, count_vectorizer, vw_model])

模型训练

vw_trained = vw_pipeline.fit(df_train)

模型评估

准备测试数据

TEST_FILENAME = "testdata.manual.2009.06.14.csv"

df_test = pd.read_csv(
    os.path.join(".", DATA_FOLDER, TEST_FILENAME),
    header=None,
    names=COL_NAMES,
    encoding=ENCODING,
)
df_test = spark.createDataFrame(df_test, verifySchema=False)

# 过滤中性推文，只保留正面和负面
df_test = (
    df_test.filter(col("label") != 2.0)
    .withColumn("label", when(col("label") > 0, 1.0).otherwise(0.0))
    .select(["label", "text"])
)

预测与评估

# 生成预测
predictions = vw_trained.transform(df_test)

# 计算评估指标
metrics = ComputeModelStatistics(
    evaluationMetric="classification", labelCol="label", scoredLabelsCol="prediction"
).transform(predictions)
metrics.toPandas()

ROC曲线绘制

class CurveMetrics(BinaryClassificationMetrics):
    def __init__(self, *args):
        super(CurveMetrics, self).__init__(*args)

    def get_curve(self, method):
        rdd = getattr(self._java_model, method)().toJavaRDD()
        points = []
        for row in rdd.collect():
            points += [(float(row._1()), float(row._2()))]
        return points

preds = predictions.select("label", "probability").rdd.map(
    lambda row: (float(row["probability"][1]), float(row["label"]))
)
roc_points = CurveMetrics(preds).get_curve("roc")

# 绘制ROC曲线
fig = plt.figure()
x_val = [x[0] for x in roc_points]
y_val = [x[1] for x in roc_points]
plt.title("ROC curve on test set")
plt.xlabel("False positive rate")
plt.ylabel("True positive rate")
plt.plot(x_val, y_val)
plt.show()