- 博客(6)
- 收藏
- 关注
RSS订阅原创 模型压缩方法：量化（Quantization）、剪枝（Pruning）、蒸馏（Knowledge Distillation, KD）、二值化（Binary Quantization）
深度学习模型日益庞大，给存储、计算和推理带来挑战。模型压缩技术旨在减少计算复杂度并加速推理，主要包括量化（Quantization）：降低参数精度（如 FP32 → INT8），减少存储需求并提升计算效率。剪枝（Pruning）：移除冗余权重或结构，使模型更轻量化。知识蒸馏（Knowledge Distillation）：让小模型学习大模型知识，在减少计算量的同时保持性能。二值化（Binary Quantization）：将权重和激活值限制为 0/1 或 -1/+1，大幅提升推理速度，适用于低功耗设备。
2025-03-14 19:51:26
1298
原创 “MUSER: A MUlti-Step Evidence Retrieval Enhancement Framework for Fake News Detection” 论文阅读
个人难以区分社交媒体上泛滥的假新闻的真伪，假新闻的爆炸式增长对社会稳定构成了重大威胁。为了减轻假新闻传播的后果，及时在社交平台上识别它们至关重要。本文受脑科学的启发，提出了一个通过多步骤证据检索增强的假新闻推理框架。本文模型能够通过维基百科自动检索现有证据，进行证据收集，并通过多步骤检索捕捉证据之间的依赖关系。该框架模拟人类在阅读新闻、总结、查阅资料以及推断新闻是否真实的过程中所经历的步骤。模型可以显式地建模多项证据之间的依赖关系，并通过多步检索进行新闻验证所需证据的多步骤关联。
2024-12-12 19:14:44
1267
1
原创 【DetectGPT 源码阅读】基于概率曲率的零样本机器生成文本检测方法
本篇博客将对DetectGPT模型的源码进行拆解阅读。DetectGPT是基于概率曲率的零样本机器生成文本检测模型，考虑机器生成文本检测的零样本方法，通过估计样本周围对数概率的局部曲率来进行检测。本篇博客对detect-gpt模型中文件进行分析，简要分析custom_datasets.py，进一步分析run.py。custom_datasets.py提供了统一的接口，用于加载并预处理多种数据集。run.py是 DetectGPT 项目中的主脚本，负责加载数据、执行文本扰动、模型推断和实验分析，最后保存结果。
2024-11-28 00:40:38
1160
2
原创 “DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature” 论文阅读
本篇论文提出了一种基于概率曲率的零样本机器生成文本检测方法——DetectGPT，用于检测文本是否由特定的大型语言模型（LLM）生成。该方法假设机器生成的文本位于模型对数概率函数的负曲率区域，而人类文本不具备这一特性。DetectGPT将候选文本在源模型下的对数概率与该文本在源模型下若干扰动样本的平均对数概率进行比较。如果扰动文本的平均对数概率显著低于原始文本，则可以判定候选文本有很大可能来自该模型。
2024-11-20 14:34:42
955
1
原创 FourierGPT: 利用相对似然谱检测人类语言和模型语言之间的细微差异 论文阅读
现有检测人类文本和模型生成文本的方法多依赖于观察文本自然分布的绝对似然值，根据不同的似然值确定不同的来源。随着语言模型生成类人文本的能力不断发展，依赖绝对似然值区分文本来源变得越来越困难。本篇论文方法利用相对似然值代替绝对似然值，从文本相对似然分数的频谱视图中提取特征，以捕捉语言中似然的动态变化。从频谱视图中获得的特征被用于设计两种类型的分类器，一种基于监督学习，一种基于启发式的零样本方法。这两种分类器都达到了令人印象深刻的性能，其结果与以前的零样本检测方法相比更具竞争力，并在短文本检测方面取得了新的进展。
2024-11-13 00:43:31
1431
1
原创 “Machine-Generated Text Localization“论文阅读
现有方法大多都在探索整个文档或段落级别的机器生成文本检测，本篇论文提供了更细粒度的机器生成文本定位方法，提供了第一个定位文档中机器生成文本的深入研究。该任务弥补了当前二分类任务在混合人工和机器生成文本的文章上表现不好的缺陷。解决了MGT预测的一个主要挑战，即对短文本判断不准确的问题。
2024-11-05 21:59:33
1631
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人