【微调】案例及数据集

最新推荐文章于 2025-07-29 21:31:10 发布
最新推荐文章于 2025-07-29 21:31:10 发布
阅读量107 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI入门与实战 文章标签： 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/commshare/article/details/146364633

对话数据集

BERT电影评论分类: 使用imdb 数据集

  • 如何微调（Fine-tuning）大语言模型？ 大神给出了微调的概念：

  • 大神的意思是 调整的是参数，结果是原来的知识都保留，但是某些层被新的数据训练后，优化了其对新任务的执行

  • 微调是基于一个已经训练好的神经网络模型，通过对其参数进行细微调整，使其更好地适应特定的任务或数据。通过在新的小规模数据集上继续训练模型的部分或全部层，模型能够在保留原有知识的基础上，针对新任务进行优化，从而提升在特定领域的表现。
    - 根据微调的范围，可以分为全模型微调和部分微调

在这里插入图片描述

LoRA微调

-

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Datawhale 科大讯飞AI大赛（模型蒸馏）
1ncludeSteven
07-27 998
使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。
opencv学习（图像梯度）
weixin_63566653的博客
07-26 1008
在图像处理中，图像梯度（Image Gradient）是描述图像中像素值变化率的概念，是理解图像中 “哪里发生变化” 以及 “变化有多剧烈” 的核心工具。从简单的 Sobel 算子到复杂的 Canny 算法，本质都是通过梯度分析实现边缘提取，是计算机视觉中处理图像结构的基础。
AI算法实现解析-C++实例
最新发布
keny-大成的博客
07-29 1011
本文摘要： 本文汇总了基于C++实现的多种AI/机器学习技术，涵盖计算机视觉、自然语言处理和强化学习等领域。主要内容包括： 计算机视觉： 目标检测（YOLOv3/YOLO Tiny） 人脸识别（OpenCV Haar级联/OpenFace） 图像风格迁移（OpenCV DNN模块） 特征匹配（SIFT/Lucas-Kanade光流） 自然语言处理： 文本分类（朴素贝叶斯/TF-IDF） 语言模型（N-gram/Word2Vec） 文本生成（LSTM/GRU） 情感分析（FastText/深度学习） 强化学习
大模型开发
2302_81352523的博客
07-23 1742
AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。
AI模型训练中过拟合和欠拟合的区别是什么？
workflower的博客
07-28 734
定义：模型未能充分学习到数据中的规律，对训练数据的拟合程度较差，在训练集和测试集上的表现都不好（如准确率低、损失值高）。- 定义：模型过度学习了训练数据中的细节（包括噪声和随机波动），导致对训练数据拟合效果极好，但对未见过的测试数据泛化能力差。- 表现：训练集性能极好（如准确率接近100%），但测试集性能明显下降，两者差距很大。- 表现：训练集和测试集的性能指标（如准确率）都较低，且两者差距不大。- 过拟合：模型“学太死”，只对训练数据表现好，对新数据没用。- 模型结构过于复杂（如参数过多）；
RoPE：相对位置编码的旋转革命——原理、演进与大模型应用全景
拒绝AI玄学，只聊真技术▲
07-26 2211
RoPE通过几何旋转的统一框架，实现了位置编码的相对性、可逆性与外推性的平衡，成为大模型位置感知的基石技术。跨模态统一：N维李群框架支撑视频、3D点云位置建模动态频率学习：替代预设θbaseθbase​，实现任务自适应编码鲁棒性增强：融合FoPE思想抵抗深层频谱损坏RoPE的本质是将位置关系映射为复数空间的旋转群——它不仅是Transformer的“位置感知器”，更是AI理解时空的数学透镜。当旋转矩阵的维度从文本扩展到图像、视频乃至物理世界，位置编码的数学之美正在重构AI对世界的认知方式。
人工智能时代的战略竞争优势商业模式创新培训讲师培训师专家咨询顾问唐兴通谈个性化在制造业金融业医疗医药石油化工SARS软件行业大客户营销与销售背后的价值
Akibfrycc的博客
07-26 1009
这让我想起《孙子兵法》中的"迅雷不及掩耳"——当你的竞争对手还在为季度营销计划绞尽脑汁时，真正的领导者已经构建了能够同时运行数百个覆盖数百万客户的实验系统，在短短几天内就能提取洞察，并将其融入下一轮互动。他们深谙个性化的真谛：结合智能整合与自动化，在敏捷团队中跨越功能孤岛，将测试和学习的时间线压缩至小时级别，月度实验数量提升至数千个。真正的个性化能力竞争是组织能力的竞争。今日，不知多少企业迷信于购买昂贵的营销自动化平台，招揽数据科学家，实施CRM系统，却依然无法真正理解客户，更遑论预测需求、创造价值。
AI崛起后，对使用AI的一些小思考
2303_81991798的博客
07-29 770
AI编程工具的快速发展极大降低了技术门槛，使普通用户也能轻松制作静态网页等项目。然而，真正的技术壁垒在于后端开发、SEO优化等专业领域。开发者需从用户需求出发，关注解决实际痛点而非技术本身。在变现方面，需设计符合用户心理的定价策略，如免费增值模式和小额支付。面对大厂竞争，应通过优化体验、建立品牌等方式提升用户粘性。AI时代，创意和服务能力比技术实现更重要。
Spring AI 项目实战（二十）：基于Spring Boot + AI + DeepSeek的智能环境监测与分析平台（附完整源码）
博客
07-26 637
本文介绍了基于Spring Boot和DeepSeek大语言模型开发的智能环保监测系统。该系统实现了多类型传感器数据采集、实时监测、AI异常检测、污染源识别、趋势预测和治理方案推荐等功能，采用前后端分离架构，整合了Spring Boot、Vue3、MySQL等技术栈。项目通过AI技术提升了环保监测的智能化水平，解决了传统系统在实时性、分析能力和预警机制等方面的不足。
TDengine 中 TDgpt 异常检测的数据密度算法
TDengine(老段）专注时序数据库领域
07-29 225
Local Outlier Factor(LOF)，局部离群因子/局部异常因子，是 Breunig 在 2000 年提出的一种基于密度的局部离群点检测算法，该方法适用于不同类簇密度分散情况迥异的数据。根据数据点周围的数据密集情况，首先计算每个数据点的局部可达密度，然后通过局部可达密度进一步计算得到每个数据点的一个离群因子。该离群因子即标识了一个数据点的离群程度，因子值越大，表示离群程度越高，因子值越小，表示离群程度越低。最后，输出离群程度最大的。后续待添加基于数据挖掘检测算法。第三方异常检测算法库。
车载图传系统：移动场景下的 “信息中枢”
伟博 图传解决方案
07-28 834
车载图传系统凭借其卓越的技术性能、丰富的功能特性以及广泛的应用场景，已成为现代移动作业不可或缺的重要组成部分。它不仅为各行业的高效运转提供了有力支撑，更在保障公共安全、提升城市治理水平等方面发挥着关键作用。随着技术的不断进步，车载图传系统必将迎来更广阔的发展空间，为构建更加智能、安全、高效的社会环境贡献更大力量。
机器学习中knn的详细知识点
2302_76568160的博客
07-25 473
K 最近邻（K-Nearest Neighbors, KNN）是一种基于实例的监督学习算法，适用于分类和回归任务。其核心思想是通过计算新样本与训练集中样本的距离，选取最近的 K 个邻居，根据这些邻居的类别或值进行预测。
非参数密度函数估计(1)
gongdiwudu的专栏
07-25 1015
非参数密度估计是一种估计随机变量概率密度函数的方法，无需假设分布的特定函数形式与需要选择特定分布（如正态分布或指数分布）的参数方法不同， 非参数方法直接从数据中估计密度，这使得它们更灵活但可能更复杂。
云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型之Lora微调代码讲解
m0_51430275的博客
07-29 282
本文详细解析了基于LoRA微调Qwen2.5-VL-7B模型的配置参数。LoRA通过低秩分解技术，仅训练小矩阵增量，大幅降低显存消耗（节省70%+）。关键配置包括：任务类型为因果语言建模（CAUSAL_LM）、目标模块覆盖注意力层和FFN层（q/k/v/o_proj等）、秩r=64与alpha=16保持合理缩放比（0.25）、5%的dropout防止过拟合。该配置在16.7M参数的原模块上仅需训练0.52M参数，实现了高效微调，特别适合多模态生成任务。参数设置平衡了性能与效率，是Qwen模型的推荐实践方案。
上下文工程（上）——充分发挥智能体AI系统的潜力
Anspire的博客
07-29 482
几周前，我尝试用Claude Code构建一个完整的Spring Boot应用（一个略复杂的企业级用例）。由于这不是一个现成的用例，我很难定义精确的提示词（包括恰当的上下文学习、检索增强生成（RAG）等）。我得到的结果总是不一致——有时很出色，有时则完全是无意义的内容。我偶然看到了各种关于上下文工程的论文和博客，虽然之前听说过这个概念，但我曾认为它只是又一个昙花一现的潮流。我很快意识到，应该有解决办法，而且我们确实需要一种系统化的方法来定义上下文。
开发一个本地化的 RAG 智能体
champyin的博客
07-26 752
2. LangChain 的文本嵌入模块 HuggingFaceEmbeddings 会有层层依赖，安装时容易受挫，别怕，都给你梳理好了：HuggingFaceEmbeddings 依赖 sentence-transformers，sentence-transformers 依赖 torch，（torch 依赖 numpy，运行时才会暴露）。要开发 RAG 智能体，少不了要进行检索文档、调用大模型、调用工具等操作，这些操作都是最基础的标准动作，已经有开源的框架库帮我们封装好了，不需要我们从头来写。
首个智能存力调度平台启动！与算力网络共同加速AI创新
大数据在线
07-28 738
智能时代，数据洪流滚滚而来。当“东数西算”等工程让算力网络全面覆盖数字中国之际，存力便成为数据要素自由流动和AI创新的关键。唯有实现存算协同发展，方能孕育出真正的AI生产力。无独有偶，在2025世界人工智能大会（WAIC）上，中国移动与曙光存储联合启动国内首个智能存力调度平台--算力中心全局统一文件存储系统。该平台以先进存力中心 “中枢神经”的定位，深度融合异构资源调度与AI应用场景需求，为先进存力中心高效运营及AI技术落地提供核心支撑。
什么是LLM 残差流：MLP Residual =attention Residual +MLP Result
ZJQ的博客
07-29 383
Transformer架构中的残差流（Residual Flow）、MLP Residual和Attention Residual概念。残差流通过残差连接让信息在网络层间顺畅流动，避免梯度消失，提升模型训练效果。MLP Residual是MLP模块输出与输入相加的结果，帮助保留原始特征的同时融合复杂语义信息。Attention Residual则是多头注意力输出与输入的相加结果，能有效捕捉序列元素间的关系。这些机制共同增强了Transformer模型的信息传递能力和语义理解性能。
智能健康饮食管理系统（TDEE算法、WebSocket实时通讯、协同过滤算法、支付宝沙盒支付、Echarts图形化分析）
paopaokaka_luck的博客
07-29 666
🎈系统亮点：TDEE算法、WebSocket实时通讯、协同过滤算法、支付宝沙盒支付、Echarts图形化分析；
微调数据集
03-11
### 准备和使用微调数据集的方法 在机器学习领域，准备和使用微调数据集是一个复杂的过程，涉及多个方面的工作。对于传统的自然语言处理(NLP)任务，如机器翻译、文本摘要以及文本分类等，已经存在大量公开的数据集合[^1]。这些数据集不仅提供了丰富的监督学习材料，而且能够作为基础来创建特定于应用需求的新数据集。 #### 数据收集与预处理 为了有效地利用现有资源并针对具体应用场景优化模型性能，在构建新的微调数据集时应考虑以下几个要点： - **获取高质量源数据**：优先选用经过验证的真实世界样本或者权威机构发布的标准测试案例。 - **清理噪声干扰项**：去除无关紧要的信息片段，修正错误标注部分，并保持语料库的一致性和准确性。 - **扩充多样性实例**：通过引入更多样化的输入形式增加泛化能力，比如采用多语言版本或是不同风格表达方式的句子结构。 #### 构建针对性强的小规模精炼版子集 当面对有限计算资源的情况下，可以通过精心挑选具有代表性的少量例子组成更紧凑高效的训练单元。这种方法特别适用于那些对硬件条件有较高要求的任务场景，例如基于大尺寸Transformer架构的语言模型微调工作[^4]。 #### 应用对抗攻击检测技术保障安全性 考虑到潜在的安全威胁因素，在设计阶段就应当融入防御机制以抵御恶意篡改行为的影响。研究指出，某些类型的后门攻击可能会嵌入到正常运作流程之中而不易察觉；因此有必要实施严格的审查程序确保所使用的每一个组件都来自可信渠道[^2]。 ```python import pandas as pd from sklearn.model_selection import train_test_split # 假设 df 是已加载好的原始 DataFrame X_train, X_val, y_train, y_val = train_test_split( df['text'], df['label'], test_size=0.2, random_state=42) print(f'Training set size: {len(X_train)}') print(f'Validation set size: {len(X_val)}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值