ccjjllt-优快云博客

原创 Day5NLP分类任务评价指标

摘要：本文探讨了多类别分类任务中的三种性能评估方法：宏平均（Macro-average）、微平均（Micro-average）和加权平均（Weighted-average）。宏平均平等对待每个类别，适合关注小类表现；微平均侧重整体准确率，易受大类主导；加权平均则按样本数加权，在类别不平衡时提供折中方案。通过一个三分类文本案例（模拟水果、动物和科技类词汇），展示了不平衡数据集下不同评估指标的差异。

2026-01-12 00:24:03 716

原创 Day4TF‑IDF + Logistic Regression 情感分类 Baseline（传统特征）

本文探讨了使用传统特征工程和线性分类器构建NLP文本分类模型的方法。以IMDb影评数据集为例，采用TF-IDF特征（1-2gram）和逻辑回归分类器，在验证集和测试集上分别取得了0.8892/0.8749的准确率和0.9554/0.9480的AUC值。文章详细解析了评估指标的选择依据，指出在类别不平衡时Accuracy可能产生误导，应关注F1、AUC等综合指标。通过误差分析发现模型在否定词、反讽和弱情感文本上表现欠佳，并提出了改进方向：调整n-gram范围、优化正则化参数和尝试其他线性分类器。该方案作为文本

2026-01-03 23:11:54 1067

原创 Day3 TF-IDF from Scratch (BoW / TF / IDF 数学本质)

设词在文档中出现次数为，文档总词数为。表达的是最原始的假设：出现越多越重要存在的问题：1.长文档天生占便宜：同一个主题，长文档里几乎所有的词count都大。长文档会因为“数值更大”被偏爱，而不是因为”更相关“2.重复刷词会线性变强：比如一篇文档里”npl“出现了100次，Raw count会让它比重复10次强10倍，但现实中相关性通常没这么线性。归一化把”绝对次数“变成了”相对频率“，也就是这个词在这篇文档中占了多大比例。例子：文档1：长度100，npl出现5次 -> tf=0.05；

2025-12-30 15:45:09 1560

原创 Day2分词问题与token的本质

BERT不用word-level词表，是因为1、词表规模不可控 2、新词和形态变化导致严重的OOV 3、word-level无法泛化未见词，因此BERT使用subword tokenization（WordPiece），在控制词表规模的同时最大化覆盖率。我 / 爱 / 自然 / 语言处理。他们的本质都是通过subword建模，在控制词表规模的同时，显著降低OOV，并提升模型对未见词的泛化能力。A因为英文存在显式的词边界（空格），而中文文本是连续字符串流，词边界时隐式的，需要通过统计或模型预测。

2025-12-29 22:06:36 1035

原创 Day1NPL的全局认识

因为要想预测得准，模型必须把“语义相近的词”学成相近的表示。Word2Vec隐含假设是词是原子单位（一个词一个向量），这会导致低频词很难学好、OOV（没见过的词）直接没向量、形态变化（played/playing）关系学不到。但是会出现维度爆炸：如果词表大小是 |V|，1-gram 维度 ~ |V|，2-gram 理论上 ~ |V|²，3-gram 理论上 ~ |V|³。Word2Vec 通过低维稠密向量，把词映射到连续向量空间，使语义相近的词在几何空间中距离更近，从而解决了稀疏性和语义缺失的问题。

2025-12-28 21:11:28 1006

原创自学pytorch（day2）

本文介绍了使用PyTorch构建多层感知器(MLP)进行MNIST手写数字分类的完整流程。首先通过torchvision加载并预处理MNIST数据集，使用DataLoader进行批量处理。构建了一个包含输入层(784维)、隐藏层(256维)和输出层(10维)的MLP模型，采用ReLU激活函数。使用交叉熵损失函数和AdamW优化器进行训练，实现了训练和评估函数。实验结果表明，该模型在5个epoch内即可达到较高的分类准确率。文章还展示了多种MLP实现方式，包括深度MLP和可配置层数的MLP变体。

2025-12-20 21:46:00 825

原创自学PyTorch（day1）

这就是一个线性变化：y = W*x + b。当in_features = 1, out_features = 1:W是一个1*1的矩阵，可以当成一个标量w。b是一个标量偏置。均方误差（mean squared error)。torch.optim.SGD是随机梯度下降（stochastic gradient descent）。model.parameters()：把模型里需要学习的参数（这里是w和b）交给优化器管理。lr=0.1：学习率n=0.1，决定每次更新走多大一步。

2025-12-11 22:12:36 612 1

ccjjllt的博客