Glass_Gun的博客

原创 【研究学习】知识蒸馏和模型蒸馏技术

Hinton在2015年提出知识蒸馏。（基础，奠定开山之作）使用教师模型的输出logits作为软标签，通过调整温度参数来让学生模型学习。论文：Distilling the Knowledge in a Neural Network结合量化与蒸馏的技术，这样可以在压缩模型大小的同时保持性能。论文：Model compression via distillation and quantization针对BERT模型的一种蒸馏方法，学生从教师多个中间层学习，不仅限于学习最后一层，属于中间层蒸馏的一种。参考

原创 【环境配置】Jupyter Notebook切换虚拟环境

通过以上方法，你可以在Jupyter Notebook中灵活地切换和使用不同的虚拟环境。

原创 【Java学习】电脑基础操作和编程环境配置

在Windows中用命令行的方式操作计算机。

原创 【论文阅读】小样本学习相关研究

不可靠的经验风险最小化器是FSL的核心问题。基于先验知识如何处理核心问题，可以将FSL分为三个角度：数据使用先验知识来增强监督经验，模型通过先验知识约束假设空间，算法使用先验知识改变对假设空间中最佳假设参数的搜索。这篇小样本学习综述论文从Data、Model、Algorithm三个方面介绍了现有的小样本学习领域内的方法，以数学的形式具体解释了小样本学习中的困难点。

原创 【论文阅读】信号调制识别的对抗样本攻防技术研究进展（2022）

模型窃取攻击也被称为探索性攻击，模型窃取攻击探索了解模型内部工作原理，攻击方通过收集训练数据摸清 DL 模型和算法的内部运作机理，并通过仿真相似的输入和输出数据来训练一个网络模型，作为替代模型［36‑37］。文献［40］指出用替代模型设计的对抗攻击具有一定的迁移性，对抗攻击会转移到目标模型。例如在无线通信场景中，可以通过探索空中频谱信息来了解通信系统的传输模式。另外，文献［23］研究了无线信道对替代模型的对抗攻击迁移性的影响。

原创 【信号处理】绘制IQ信号时域图、星座图、功率谱

把输入的IQ信号定义为信号的实部和虚部（但实际上IQ两路信号都是实信号）将I和Q分别作为横轴和纵轴，那么在复平面上每两个IQ值可以对应一个固定的点，将坐标图画出来就叫做星座图。

原创 【信号处理】使用CNN对RF调制信号进行分类

Using CNN to classify RF modulation data.Dataset is from: DATA LINKpaper: Over the Air Deep Learning Based Radio Signal ClassificationData is processed. Column data are a two variable label composed of the Modulation and SNR, Row 0 is the binary encoded ve

原创 【信号处理】基于联合图像表示的深度学习卷积神经网络

实验显示了哪种信号表示在被测试的信号中更好地分类。与眼图和AF相比，星座图获得了更好的精度。当结合信号表示，特别是星座图和眼图时，比单独使用它们获得了更好的结果。结合自动对焦和眼图，信号在-15 dB时略有改善。而使用自动对焦的星座图并没有改善结果。模糊函数描述了信号的两个维度（dimensions）：延迟（delay）和多普勒（Doppler）。优化函数使用Adam Function。模型架构CNN，深度为7层。训练3个epochs。

原创 【数据增强】CutMix

简单来说cutmix相当于cutout+mixup的结合，可以应用于各种任务中。

原创 【数据增强】Mixup

Mixup是发源于CV领域的一种数据增强技术，发展到现在不仅在CV领域，在NLP、时间序列预测等领域都有其踪影，是一种提分神器。存在问题：大型深度神经网络功能强大，但表现出不良行为，如对记忆和对抗性实例的敏感性。Mixup是一种简单有效的数据增强方法（学习原则），能够缓解这些问题。

原创 【LaTex】参考文献格式转换（bibtex到bibtem）

很多期刊给出的LaTeX模板中要求参考文献使用\bibitem格式，不能将参考文献放在.bib文件中，而是使用\bibitem{}命令，写在论文的.tex文件中。文献较多时手动添加显然不太实际，解决方法是通过bibtex实现批量处理。

原创 【论文阅读】基于真实数据感知的模型功能窃取攻击

模型功能窃取攻击是人工智能安全领域的核心问题之一，目的是利用有限的与目标模型有关的信息训练出性能接近的克隆模型，从而实现模型的功能窃取。针对此类问题，一类经典的工作是基于生成模型的方法，这类方法利用生成器生成的图像作为查询数据，在同一查询数据下对两个模型预测结果的一致性进行约束，从而进行模型学习。然而此类方法生成器生成的数据常常是人眼不可辨识的图像，不含有任何语义信息，导致目标模型的输出缺乏有效指导性。针对上述问题，提出一种新的模型窃取攻击方法，实现对图像分类器的有效功能窃取。

原创 【论文阅读】一种基于元学习框架的针对智能网络入侵检测系统的快速模型窃取攻击技术

入侵检测系统越来越多地使用机器学习。虽然机器学习在识别恶意流量方面表现出了出色的性能，但它可能会增加隐私泄露的风险。本文重点关注对入侵检测系统实施模型窃取攻击。现有的模型窃取攻击很难在实际网络环境中实施，因为它们要么需要受害者数据集的私有数据，要么需要频繁访问受害者模型。在本文中，我们提出了一种称为快速模型窃取攻击（FMSA）的新颖解决方案来解决模型窃取攻击领域的问题。我们还强调了在网络安全中使用 ML-NIDS 的风险。首先，将元学习框架引入模型窃取算法中，以在黑盒状态下克隆受害者模型。

原创 【PyTorch】图像分割

将图像每一个。

原创 【PyTorch】图像目标检测

按流程分为：one-stage和two-stage。

原创 【PyTorch】生成对抗网络

Generative Adversarial Nets，简称GANGAN：生成对抗网络 —— 一种可以生成的模型。

原创 【PyTorch】循环神经网络

神经网络。

原创 【PyTorch】环境配置

2017年1月，FAIR（Facebook AI Research）发布了PyTorch。PyTorch是在Torch基础上用python语言重新打造的一款。Torch是采用Lua语言作为接口的机器学习框架，但因为Lua语言较为小众，导致Torch知名度不高。

原创 【PyTorch】学习资料（持续更新）

PyTorch 学习笔记PyTorch 学习笔记汇总（完结撒花）

原创 【PyTorch】数据读取和处理

return umg仅接收一个参数，返回一个参数注意上下游的输出与输入......return img。

原创 【PyTorch】autograd与逻辑回归

线性回归是分析自变量x与因变量y（标量）之间关系的方法。逻辑回归是分析自变量x与因变量y（概率）之间关系的方法。

原创 【PyTorch】计算图与动态图机制

深度学习就是对张量进行一系列的操作，随着操作种类和数量的增多，会出现各种值得思考的问题。比如多个操作之间是否可以并行，如何协同底层的不同设备，如何避免冗余的操作，以实现最高效的计算效率，同时避免一些 bug。因此产生了计算图 (Computational Graph)。

原创 【PyTorch】张量操作与线性回归

功能：在维度dim上，按index索引数据返回值（依index索引数据拼接的张量）功能：逐元素计算 input + alpha × other。注意事项：当张量在内存中是连续时，新张量与input。注意事项：若不能整除，最后一份张量小于其他张量。（改变一个变量时，另一个变量也会被改变）。功能：2维张量转置，对矩阵而言，等价于。功能：将张量按维度dim进行平均切分。功能：按mask中的True进行索引。功能：将张量按维度dim进行拼接。功能：将张量按维度dim进行切分。功能：交换张量的两个维度。

原创 【PyTorch】Tensor（张量）介绍

Tensor 中文为张量。张量的意思是一个，它是标量、向量、矩阵的高维扩展。标量可以称为 0 维张量，向量可以称为 1 维张量，矩阵可以称为 2 维张量，RGB 图像可以表示 3 维张量。你可以把张量看作多维数组。

原创 【PyTorch】深入浅出PyTorch

Why learn PyTorchPyTorch日益增长的发展速度与深度学习时代的迫切需求构建知识体系熟悉知识分布对应查缺补漏

原创 【PyTorch】逻辑回归

组织上面 4 个模块进行反复训练。包括观察训练效果，绘制 Loss/ Accuracy 曲线，用 TensorBoard 进行可视化分析。包括根据梯度使用某种优化器更新参数，管理模型参数，管理多个参数组实现不同学习率，调整学习率。包括数据读取，数据清洗，进行数据划分和数据预处理，比如读取图片如何预处理及数据增强。包括创建损失函数，设置损失函数超参数，根据不同任务选择合适的损失函数。包括构建模型模块，组织复杂网络，初始化网络参数，定义网络层。

原创 【论文阅读】LLM4CP: Adapting Large Language Models for Channel Prediction（2024）

massive multi-input multi-output (m-MIMO)，大规模多输入多输出。large language models (LLMs)，大语言模型LLMs。该论文把大语言模型LLM用到物理层通信无线信道CSI预测上。channel prediction，信道预测。time-series，时间序列。fine-tuning，微调。

原创 【论文阅读】AugSteal: Advancing Model Steal With Data Augmentation in Active Learning Frameworks（2024）

设计了一个名为Fusion Augmentation的数据增强模块，整合了两种创新的损失函数计算方法，并引入了动态超参数调整策略。开发了一种自适应的主动学习选择策略，选择对不同黑盒模型具有重要信息增益的数据样本，提高攻击的特异性和有效性。开发了一种结合边际概率和聚类方法的主动学习选择策略（MPCL），专注于选择对模型训练非常有价值的样本。提出了一种基于主动学习的融合增强模型窃取框架（AugSteal），用于硬标签黑盒模型。提出了一种创新的数据集优化算法，有效消除混淆因素，同时保留样本的完整性。

原创 【数据集】RadioML2016.10a（RML2016.10a）

RML2016.10a数据集是一个用于无线电信号调制识别的数据集，它包含了多种数字和模拟调制方式的信号样本。这些样本是通过软件定义无线电（SDR）技术生成的，使用了GNURadio和Python编程语言。该数据集共有220000条样本，每个样本的size为(2, 128)，即I/Q两路数据，每个样本的长度为128。信噪比为-20dB~18dB，间隔为2dB，即20种不同的信噪比环境。共有11种不同的调制方式。

原创 【论文阅读】DivTheft: An Ensemble Model Stealing Attack by Divide-and-Conquer（2023）

model stealing/extraction attack，模型窃取/提取攻击。Ensemble learning，集成学习。black-box attack，黑盒攻击。MLaaS，机器学习即服务。

原创 【论文阅读】SwiftTheft: A Time-Efficient Model Extraction Attack Framework（2024）

这份文件是一篇关于人工智能安全领域的研究论文，标题为“SwiftTheft: A Time-Efficient Model Extraction Attack Framework Against Cloud-Based Deep Neural Networks”，作者是来自中国武汉大学和浙江大学的研究人员

原创 【论文阅读】一种针对多核神经网络处理器的窃取攻击（2020）

攻击者可以通过侧信道信息(Side-channel)完成模型窃取攻击[17].

原创 【论文阅读】语义通信安全研究综述（2024）

引言：介绍了语义通信技术的背景、发展和重要性，以及它在无线通信系统中面临的安全挑战。语义通信系统架构及安全攻击：描述了一个端到端的深度学习语义通信系统的基本架构，包括语义编解码器、信道编解码器和收发端知识库等模块，并讨论了这些模块可能遇到的安全攻击，如窃听、篡改等。语义通信模型安全研究现状：详细讨论了模型安全攻击手段（数据投毒、后门攻击、对抗攻击和模型窃取）和相应的防御策略（数据清洗、鲁棒训练、模型剪枝和后门检测技术）。

原创 【论文阅读】Using Deep Learning to Eavesdrop on HDMI from its Unintended Electromagnetic Emanations（2024）

Deep-TEMPEST: Using Deep Learning to Eavesdrop on HDMI from its Unintended Electromagnetic Emanations（2024）In this work, we address（解决） the problem of eavesdropping on digital video displays by analyzing the electromagnetic waves（电磁波） that unintentionally

原创 【论文阅读】Purloining Deep Learning Models Developed for an Ultrasound Scanner to a Competitor Machine

原创 【论文阅读】QUEEN: Query Unlearning against Model Extraction（2024）

disruption-based defenses，基于中断的防御。Model extraction attacks，模型提取安全。sensitivity measurement，灵敏度测量。AI security，人工智能安全。

原创 【论文阅读】Fully Exploiting Every Real Sample: SuperPixel Sample Gradient Model Stealing（2024）

原创 【论文阅读】Stealing Image-to-Image Translation Models With a Single Query（2024）

Training deep neural networks（训练深度神经网络） requires（需要） significant computational resources（大量计算资源） and large datasets（大型数据集） that are often confidential（机密的） or expensive（昂贵的） to collect. As a result（因此）, owners（所有者） tend to（倾向于） protect（保护） their models by

原创 【论文阅读】Learning Transferable Visual Models From Natural Language Supervision（2021）

当前的计算机视觉系统通常被训练来预测一组固定的预定义对象类别，这限制了它们的通用性和可用性。直接从图像的原始文本描述中学习是一种有前景的替代方案，因为它利用了更广泛的监督源。

原创 【论文阅读】基于生成对抗网络的模型窃取方法的研究（2021）

提出了一种基于生成对抗网络的模型窃取方法——GBMS(Generative adversarial networks Based Model Stealing method)，GBMS允许攻击者在没有真实数据的情况下训练替代模型，完成对目标黑盒模型的窃取任务。