- 博客(1583)
- 资源 (21)
- 收藏
- 关注
RSS订阅
原创 十载寒冰，难凉热血——2020优快云年度博客之星Top10心路历程
十多年前，我刚开始学软件编程的时候，遇到问题就到处找答案，看别人的文章；再从文章中拷贝代码粘贴在自己的项目里看看是不是能解决问题。解决了最好，要是没有解决的话就继续再找。这种状态持续了很久：不停地四处找代码借以解决自己的项目需求和技术难点。在这个过程中自己的进步微乎其微，而且遇到以往类似的问题依然不清楚该怎么解决，于是只有再次去找代码，复制，粘贴……如此循环。在这样的循环下，开始有些麻木了，甚至心安理得地觉得：写代码原本就是这样的，大家也都是这样做的。直到有一天，我觉得这是在为自己开脱，其实是在心底隐蔽..
2021-02-04 22:49:46
17965
46
原创 大模型知识蒸馏核心技术（5）—— 多教师蒸馏
多教师蒸馏的核心在于利用多个教师模型的集成知识来指导学生模型的学习。这些教师模型可以具有不同的架构、训练数据或任务目标，从而提供多样化的知识。例如，不同的教师模型可能在某些特定任务上表现出色，而多教师蒸馏能够将这些优势整合起来，使学生模型能够学习到更全面的特征表示和决策逻辑。通过这种方式，学生模型不仅能够继承教师模型的优势，还能避免单一教师模型可能存在的局限性和偏见。
2025-03-16 15:14:04
1119
原创 大模型知识蒸馏核心技术（4）—— 关系型知识蒸馏
大模型知识蒸馏的核心技术旨在将教师模型的知识高效迁移至学生模型。其中，样本间关系建模（RKD，Relational Knowledge Distillation）是一种重要的方法，它通过迁移样本间的距离或角度关系，增强学生模型的泛化能力。
2025-03-10 00:45:00
306
原创 大模型知识蒸馏核心技术（3）—— 中间层知识迁移
特征匹配是中间层知识迁移的一种重要方式，通过对齐师生模型的中间层特征来实现知识的传递。具体来说，教师模型和学生模型的中间层特征图或激活值被提取出来，然后通过某种损失函数来衡量它们之间的差异，并进行优化。常用的损失函数包括L2损失和余弦相似度等。
2025-03-10 00:30:00
1826
原创 大模型知识蒸馏核心技术（2）—— 损失函数设计
教师模型的复杂度与性能、软标签输出以及知识丰富性为其提供了高质量的知识来源，而学生模型的结构与复杂度、学习能力、泛化能力以及训练效率则决定了知识迁移的效率和最终性能。例如，大型Transformer模型作为教师模型能够学习到丰富的语言特征，而轻量级的MobileNet作为学生模型则更适合在移动设备上部署。蒸馏方法的分类进一步丰富了知识迁移的实现方式。输出层蒸馏简单高效，适合分类任务；中间层蒸馏能够实现更深层次的知识迁移，提升学生模型在复杂任务中的性能；注意力机制蒸馏则让学生模型能够学习到教师模型对输入数据的
2025-03-10 00:15:00
801
原创 大模型知识蒸馏核心技术（1）——知识表示与迁移
知识蒸馏能够有效压缩模型大小、降低计算复杂度，提升推理速度。例如，在计算机视觉领域，通过知识蒸馏将大型卷积神经网络（如ResNet50）的知识迁移到小型网络（如MobileNet），可以在保持较高准确率的同时，显著减少模型参数和计算量，满足在移动设备或嵌入式系统上的部署需求。在自然语言处理领域，对BERT模型进行知识蒸馏得到的轻量级模型，如TinyBERT，在保持较高准确率的同时，推理速度大幅提升，能够高效完成多种语言任务。
2025-03-03 12:36:13
1975
原创 大模型知识蒸馏技术（10）——伦理约束与性能平衡难题
在性能平衡方面，知识蒸馏虽然显著降低了计算成本，提升了模型的部署效率，但学生模型在复杂推理能力和领域覆盖广度上可能有所牺牲。尽管多教师蒸馏、架构设计优化和数据增强等技术手段能够在一定程度上缓解这一矛盾，但在实际应用中，仍需在效率与能力、能耗控制与性能提升之间找到最佳平衡点。未来的发展方向中，合规性蒸馏、联邦知识蒸馏以及模型水印、数据溯源等技术手段的探索与应用，将为知识蒸馏技术的健康发展提供新的思路和解决方案。合规性蒸馏能够确保 AI 模型在遵守法律法规的前提下高效运行，联邦知识蒸馏则在隐私保护的基础上促进了
2025-03-03 01:15:00
1843
原创 大模型知识蒸馏技术（9）——主流深度学习库的蒸馏实现方案
Transformers 库通过集成多模态模型（如 CLIP、Vision Transformer 等），支持多模态任务的蒸馏。例如，在视觉问答任务中，教师模型可以是一个复杂的多模态模型，学生模型则是一个轻量级的多模态模型。通过 Distiller 类，教师模型的知识可以有效地迁移到学生模型中，使得学生模型在保持较高性能的同时，显著降低了计算复杂度。
2025-03-03 00:15:00
1577
原创 大模型知识蒸馏技术（8）——知识蒸馏应用场景
知识蒸馏技术显著提高了模型的推理效率。学生模型由于结构更简单、参数更少，在推理时所需的计算资源和时间也更少。例如，在图像分类任务中，经过知识蒸馏优化后的学生模型，其推理速度比教师模型提高了5倍以上。这使得模型能够在更短的时间内完成任务，提高了系统的整体效率。在实际应用中，这种效率提升尤为重要。例如，在自动驾驶场景中，模型需要在极短的时间内对路况进行准确判断，知识蒸馏后的轻量化模型能够快速处理传感器数据，为自动驾驶决策提供支持。此外，在实时推荐系统中，知识蒸馏优化后的模型能够更快地生成推荐结果，提升用户体验。
2025-03-01 18:25:33
3300
原创 大模型知识蒸馏技术（7）——知识蒸馏关键技术
KL 散度损失用于衡量学生模型与教师模型软目标的分布差异。通过最小化 KL 散度，学生模型能够学习到教师模型的隐式知识，例如在自然语言处理任务中，学生模型可以学习到教师模型对不同语义的区分能力。实验表明，使用 KL 散度损失的学生模型在语义理解任务中的准确率比仅使用交叉熵损失的模型提高了约 20%，这表明 KL 散度损失在传递教师模型的深层知识方面具有显著优势。
2025-03-01 18:16:38
2896
原创 大模型知识蒸馏技术（6）——自蒸馏
自蒸馏是一种特殊的知识蒸馏方式，其核心在于学生模型不需要一个预先训练好的教师模型，而是通过自身的中间层特征或输出来指导自身的训练。这种方式类似于学生模型在自我学习过程中不断优化自身知识结构。在自蒸馏中，学生模型的中间层特征或输出被用作“软目标”，指导自身的训练。例如，在一个自蒸馏的文本分类任务中，学生模型的中间层特征被用作软目标，通过设计合适的损失函数，使得学生模型在训练过程中能够学习到更深层次的文本特征。这种方式使得学生模型能够在没有外部教师模型的情况下，通过自我学习实现知识的提升。
2025-02-24 00:15:00
1222
原创 大模型知识蒸馏技术（5）——在线蒸馏
在线蒸馏是一种知识蒸馏方式，其核心特点是教师模型和学生模型的参数在训练过程中同时更新，整个蒸馏框架是端到端训练的。这种方式允许教师模型和学生模型相互影响、共同学习，能够更高效地实现知识迁移，动态适应数据变化和任务需求。
2025-02-21 17:23:29
2589
原创 大模型知识蒸馏技术（4）——离线蒸馏
离线蒸馏是知识蒸馏中最早被提出且最为常见的实现方式，其核心在于教师模型和学生模型的训练是分阶段进行的。具体而言，教师模型首先在训练集上进行充分训练，直至收敛，然后利用教师模型的输出（通常是软目标）来指导学生模型的训练。
2025-02-18 21:45:00
1954
原创 大模型知识蒸馏技术（3）——教师模型与学生模型
知识蒸馏技术是一种模型压缩方法，其核心在于将教师模型的知识迁移到学生模型中。教师模型通常是大型、复杂的高性能模型，能够学习到丰富的特征表示和复杂的模式，但计算成本高，难以在资源受限的环境中部署。学生模型则是一个小型、轻量级的模型，设计目标是在有限的计算资源和存储空间下实现高效的推理。知识蒸馏的目标是通过教师模型的指导，让学生模型学习到教师模型的输出（如软目标）和特征表示，从而在减少参数量的同时，尽可能继承教师模型的性能。
2025-02-08 20:18:16
2226
原创 大模型知识蒸馏技术（2）——蒸馏技术发展简史
2006年，Hinton的研究团队开始探索如何将复杂的集成模型压缩成更小、更高效的模型。他们发现，通过训练一个简单的神经网络来模拟复杂模型的行为，可以在不显著损失性能的情况下大幅减少模型的存储和计算需求。这一研究为后续知识蒸馏技术的发展提供了重要的理论基础。
2025-01-30 22:22:49
1997
原创 大模型知识蒸馏技术（1）——蒸馏技术概述
知识蒸馏的概念最早可以追溯到2006年，当时 Geoffrey Hinton 等人的研究已经蕴含了知识迁移和模型压缩的初步思想。然而，知识蒸馏这一概念正式被提出是在2015年，Geoffrey Hinton、Oriol Vinyals和Jeff Dean在论文《Distilling the Knowledge in a Neural Network》中首次明确提出了知识蒸馏的概念。他们提出可以通过让一个小模型（学生模型）学习大模型（教师模型）的输出分布，来获得与大模型相近的性能。在这一过程中，引入了“软标签
2025-01-30 12:27:47
2635
原创 HBuilderX构建Vue项目
HBuilderX是一款专为开发者设计的高效开发工具，致力于提升开发者的编码效率和体验。HBuilderX既适合追求极致效率的极客，也适合希望简化工作流程的懒人开发者。HBuilderX支持Windows等操作系统，让开发者在不同平台上都能享受到一致的开发体验。近年来，HBuilderX以其高效、友好的特点吸引了众多开发者的关注。
2025-01-26 19:51:43
2181
原创 解决npm报错：sill idealTree buildDeps
使用 npm 安装依赖时报错：sill idealTree buildDeps
2025-01-04 23:03:39
2071
原创 解决HBuilderX报错：未安装内置终端插件，是否下载?或使用外部命令行打开。
在HBuilderX中执行npm run build总是提醒下载插件；图示如下：
2025-01-04 22:36:27
1361
原创 通义千问API KEY操作指南
阿里云百炼官方地址https://bailian.console.aliyun.com/，请点击开通服务；图示如下：
2025-01-04 21:34:24
2862
原创 通过环境变量配置openai的api-key
在环境变量中配置api-key。其中，变量名为OPENAI-API-KEY，变量值为openai的api-key。图示如下：
2025-01-04 13:09:00
1712
原创 大模型的构建与部署（3）——数据标注
数据标注通过为原始数据添加标签或注释，显著增强了数据的可解释性。在机器学习和深度学习领域，模型的训练依赖于大量带标签的数据。这些标签不仅帮助模型识别数据中的模式和特征，而且对于模型的解释性至关重要。例如，在图像识别任务中，标注可以指出图像中的对象及其属性，使得模型能够理解图像内容并做出预测。
2024-12-16 23:00:00
1392
原创 大模型的构建与部署（2）——数据清洗
在本研究报告中，我们深入探讨了原始数据中常见的问题，包括缺失值、重复值、异常值、数据格式不一致以及数据质量不均等问题，并分析了这些问题对模型训练性能和准确性的影响。
2024-12-16 22:30:00
2043
原创 大模型的构建与部署（1）——数据采集
公开数据集作为数据采集的重要来源，其便利性在于能够为研究和项目提供即时可用的数据资源。根据最新的研究统计，超过70%的人工智能研究项目依赖于公开数据集进行算法训练和模型测试。这些数据集通常由学术机构、政府或大型企业发布，覆盖图像识别、自然语言处理、语音识别等多个领域。然而，公开数据集也存在一些挑战。一项针对公开数据集质量的调查显示，约40%的数据集存在标注错误或数据不一致的问题，这些问题可能导致模型训练结果的偏差。
2024-12-16 21:30:00
2647
原创 Transformer编码器-解码器架构
Transformer模型的编码器-解码器架构是其核心特征之一，它通过精心设计的层叠结构实现了高效的序列到序列转换。该架构由编码器和解码器两大部分组成，每部分由N个相同的层组成，每层包含多个子层和特定的连接机制。编码器部分负责处理输入序列，将其转换为一系列连续的向量表示，这些向量富含输入数据的上下文信息。相对应地，解码器部分则利用编码器的输出和已经生成的输出序列，逐步构建目标序列。这种架构的优势在于其并行化处理能力，与传统的循环神经网络（RNN）相比，Transformer能够同时处理整个序列，显著提高了计
2024-12-09 08:45:00
1097
原创 Transformer应用场景
Transformer模型，首次提出于论文《Attention Is All You Need》，是一种基于注意力机制的神经网络架构。其核心特性在于能够处理序列数据，并高效捕捉序列中的长距离依赖关系。与传统的循环神经网络（RNN）和卷积神经网络（CNN）相比，Transformer模型能够并行处理序列中的所有元素，显著提高了计算效率。并行处理能力：由于不依赖于序列的时间步迭代，Transformer能够同时处理序列中的所有元素，这在处理长序列时尤为有效。自注意力机制。
2024-12-09 08:30:00
1730
原创 Transformer发展历程
Transformer模型是一种先进的神经网络架构，它在处理序列数据时不依赖于传统的循环神经网络（RNN）结构，而是采用基于注意力机制的全新编码器-解码器（Encoder-Decoder）架构。这种架构的核心在于其能够并行处理序列中的所有元素，从而显著提高了计算效率。自注意力机制（Self-Attention）：Transformer模型的核心是自注意力机制，它允许模型在处理序列中的每个元素时，同时考虑序列中的其他所有元素。这种机制使得模型能够捕捉序列内部的长距离依赖关系，这对于理解语言的复杂结构至关重要。
2024-12-09 08:00:00
1529
原创 大模型分类3—按功能特性
生成式大模型的核心能力在于其创造性，能够独立生成新的数据样本，如文本、图像和音频等。这类模型在内容创作和设计辅助领域展现出巨大的潜力和应用价值。应用领域广泛：生成式大模型不仅在文本生成领域有所应用，如自动写作、诗歌创作等，还在图像生成领域，如虚拟角色设计、艺术创作等方面有着广泛的应用。此外，音频生成也是其应用领域之一，例如音乐创作和声音模拟。技术实现：生成式大模型通常基于深度学习技术，如生成对抗网络(GANs)、变分自编码器(VAEs)等，这些技术使得模型能够学习数据的联合概率分布，并生成新的数据样本。
2024-12-05 23:45:00
1506
原创 大模型分类2—按训练方式
监督学习大模型是一种机器学习范式，它依赖于标记数据集进行训练。这些数据集包含了输入特征和对应的输出标签，模型通过学习这些特征和标签之间的关系来预测新数据的标签。在训练过程中，模型会不断调整参数以最小化预测值和真实值之间的差异，这一过程通常涉及到损失函数的优化。无监督学习大模型是一种机器学习范式，它在没有标签的数据集上进行训练。这类模型的目标是探索数据的内在结构和模式，而不是通过预测标签来学习。
2024-12-05 21:30:00
1269
原创 大模型分类1—按应用类型
大模型技术的发展已经覆盖了自然语言处理、计算机视觉和多模态交互等多个领域，每个领域都有其独特的应用场景和技术挑战。自然语言处理大模型在文本分类、情感分析、机器翻译等领域取得了显著进展，而计算机视觉大模型在图像识别、目标检测等方面展现了强大的性能。多模态大模型则通过整合不同模态的数据，为自动驾驶、智能客服等应用提供了新的可能性。
2024-12-05 20:30:00
1585
原创 机器学习之强化学习
强化学习是一种典型的机器学习范式，其核心在于智能体（Agent）通过与环境（Environment）的交互来学习最佳的行为策略。在这个过程中，智能体尝试不同的动作（Action），并根据环境给予的反馈信号——即奖励（Reward）或惩罚（Punishment）——来调整其行为。这种学习机制模拟了生物体在自然界中的条件反射学习过程，其中奖励信号起到了强化特定行为的作用。
2024-11-11 08:45:00
1436
原创 机器学习之无监督学习
无监督学习是一种机器学习范式，它允许算法在没有预先标记的训练数据的情况下进行学习。这种方法特别适用于那些没有标签的数据集，或者标签获取成本过高的情况。无监督学习的核心在于挖掘数据的内在结构和模式，从而揭示数据的分布、关联和聚类信息。无监督学习可以被定义为一种学习过程，其中模型试图在没有反馈信号的情况下发现输入数据的底层结构。这种学习方式不依赖于监督信号，如标签或奖励，而是依赖于数据本身的统计特性。
2024-11-11 08:15:00
920
原创 机器学习之监督学习
监督学习是一种机器学习方法，它利用一组已知类别的样本来训练模型，使其能够对新的、未见过的数据进行分类或预测。在这种学习模式下，每个训练样本都包含输入特征和一个对应的标签，模型的目标是学习输入特征与标签之间的映射关系。根据任务的不同，监督学习可以分为两大类：分类和回归。分类任务旨在将数据分配到两个或多个类别中，而回归任务则致力于预测连续的输出值。例如，线性回归用于预测房价，逻辑回归用于判断邮件是否为垃圾邮件。监督学习算法通过优化一个目标函数来调整模型参数，该函数衡量模型预测与实际标签之间的差异。
2024-11-11 08:00:00
1435
原创 Transformer应用场景
Transformer模型的起源可以追溯到2017年的论文《Attention is All You Need》，该论文由Ashish Vaswani等人撰写，首次提出了完全基于注意力机制的Transformer架构。这一模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）结构，转而采用自注意力机制来捕捉序列数据中的长距离依赖关系。
2024-10-28 13:59:33
1349
原创 神经网络应用场景
神经网络作为一种强大的深度学习技术，正在各个领域发挥着越来越重要的作用。在计算机视觉领域，神经网络的应用尤为广泛和深入。通过训练大量图像数据，神经网络能够学习到图像的特征和模式，从而实现高精度的图像识别、目标检测、图像分割以及图像生成等任务。这些技术被广泛应用于安防监控、自动驾驶、医疗影像分析等多个领域，极大地提升了相关行业的效率和准确性。在语音识别与自然语言处理方面，神经网络也取得了显著进展，能够实现语音转文本、机器翻译等复杂任务，为智能客服、语音助手等应用提供了强大的技术支持，使得人机交互变得更加自然。
2024-10-28 13:59:12
1033
原创 Visual Studio安装图文详解教程
Visual Studio 社区版功能完备且可扩展的免费 IDE，可用于创建新式 Android、iOS、Windows 应用程序以及 Web 应用程序和云服务。
2024-10-23 17:58:44
1758
1
原创 深度学习应用场景
深度学习应用领域广泛，这主要得益于其强大的特征学习能力。在计算机视觉领域，它广泛应用于图像识别、目标检测和图像分割等任务，极大地推动了安防监控、医学影像分析和自动驾驶等行业的发展。在语音识别与自然语言处理方面，深度学习不仅支持语音转文本、语音搜索等交互功能，还在机器翻译、文本分类、情感分析和对话生成等任务中展现出卓越性能。此外，深度学习还被广泛应用于推荐系统中，通过精准分析用户行为数据，提供个性化推荐服务，从而极大地提升了用户体验和平台收益。
2024-10-21 13:37:27
1062
原创 机器学习应用场景
机器学习技术的发展和应用已经成为推动各行各业变革的关键力量。从医疗到金融，从教育到交通，机器学习技术的应用不仅提高了效率和准确性，还为解决复杂问题提供了新的途径。在医疗领域，机器学习技术通过分析医学影像和基因组数据，辅助医生进行疾病诊断和药物研发，提高了治疗效果和个性化医疗的可能性。在金融领域，机器学习模型通过深入分析信用历史和交易行为，提高了信用评分的准确性和欺诈检测的效率，降低了金融机构的风险。在教育领域，机器学习技术通过分析学生的学习数据，提供了个性化教学和学生表现预测，提升了教育的质量和效果。
2024-10-21 13:37:01
789
原创 解决“org.apache.catalina.startup.Catalina.stopServer 未配置关闭端口。通过OS信号关闭服务器。服务器未关闭“
项目部署至Tomcat服务器报错：org.apache.catalina.startup.Catalina.stopServer 未配置关闭端口。通过OS信号关闭服务 器。服务器未关闭；图示如下：
2024-10-17 11:28:35
641
原创 Scala大数据开发
Scala combines object-oriented and functional programming in one concise, high-level language. Scala's static types help avoid bugs in complex applications, and its JVM and JavaScript runtimes let you build high-performance systems with easy access to huge
2024-10-15 13:41:13
951
DependencyInjection
2023-09-05
仿QQ获取设备中APK并分享
2016-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人