ICL和FT

最新推荐文章于 2025-07-29 15:09:37 发布

银晗

最新推荐文章于 2025-07-29 15:09:37 发布

阅读量372

点赞数 6

CC 4.0 BY-SA版权

文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/RandyHan/article/details/135510361

                    
                    Why Can GPT Learn In-Context?
https://arxiv.org/pdf/2212.10559.pdf

General-Purpose In-Context Learning by Meta-Learning Transformers
https://arxiv.org/abs/2212.04458

https://zhuanlan.zhihu.com/p/484999828

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

银晗

关注关注

6
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

LLMs之PE：大模型核心技术—提示工程(Prompt Engineering)—拿来即用—实战应用技巧案例集合(如PC/CoT/ToT/ReACT/ScP/PCTS等思想，Broke/RTRWCO-

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

05-11

2929

引导推理方法。

RAG私域问答场景超级详细方案(第一期方案)[1]：工业级别构建私域问答（知识处理、知识召回排序、搜索问答模块）

丨汀、的博客

08-06

882

RAG私域问答场景整体夏详细方案(第一期方案)[1]：工业级别构建私域问答（知识处理、知识召回排序、搜索问答模块）

参与评论您还未登录，请先登录后发表或查看评论

LLMs之FT：《The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review o

12-17

3295

LLMs：《The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities》翻译与解读

小样本微调和上下文学习的公平比较和评估

yorkhunter的博客

06-29

992

23年5月来自德国 Saarland University、英国剑桥大学、以色列Bar-Ilan University、美国西雅图的AI2和华盛顿大学的论文“Few-shot Fine-tuning vs. In-context Learning: A Fair Comparison and Evaluation“。

【ACL 2023-NER注入到PLM】数据集+实验解读：基于上下文学习的命名实体识别 Learning In-context Learning for Named Entity Recognitio

定期分享我的发现和想法，感谢你的陪伴和支持

03-21

7308

论文：Learning In-context Learning for Named Entity Recognition 标题：基于上下文学习的命名实体识别作者：Jiawei Chen, Yaojie Lu, Hongyu Lin, Jie Lou, Wei Jia, Dai Dai, Hua Wu, Boxi Cao, Xianpei Han and Le Sun 地址：[\[2305.11038\] Learning In-context Learning for Named Entity Recog

大模型学习路线（4）——大模型微调

韩束一叶子

04-07

628

图1. 大模型微调技术分类一、微调分类章节一对从微调参数规模、训练流程、训练方式三个角度对微调进行不同的划分，然后对每一分类的每一微调方法进行说明。章节二以github上的Baichuan+LoRA微调源码为例，分析了LLM微调的关键代码。随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

Kaggle - LLM Science Exam(二）：Open Book QA&debertav3-large详解

qq_56591814的博客

10-07

2821

Kaggle - LLM Science Exam赛事是评测由GPT3.5根据维基百科文章生成的多选问答任务，本文介绍了Open Book Q&A方法，通过搜索与测试集问答相关的维基百科上下文，来提供更多信息，加强问答效果

大模型学习所有的文档和作业

weixin_48339493的博客

01-29

1043

可以支持多专家系统上手版本mkdir hf先到家的目录mkdir hf# 使用 `HuggingFaceCausalLM` 评估由 HuggingFace 的 `AutoModelForCausalLM` 支持的模型# OPT-350M# `HuggingFaceCausalLM` 的初始化参数# 下面是所有模型的共同参数，不特定于 HuggingFaceCausalLMabbr='opt350m', # 结果显示的模型缩写max_seq_len=2048, # 整个序列的最大长度。

MBIST --- PATR2.Memorybist 测试流程

sinat_27691203的博客

08-18

5335

mem bist作为现在design设计中不可或缺的DFT设计内容，越发重要。本章节主要介绍mem bist的flow，如何在tessent中实现mbist以及tessent中的一些命令和mode。

LLMs之Text2SQL：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读

12-25

1417

LLMs之T2S：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读目录《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 Abstract 1、Introduction V Expectations期望《Next

OpenAI LLM 应用最佳实践：提示词工程、Fine-Tune、RAG

安静的软件工程师

03-07

1686

OpenAI LLM 应用最佳实践：提示词工程、Fine-Tune、RAG

通过自合成理由指导检索增强型生成的去噪方法

人工智能讲师分享前沿技术

10-26

1855

人工智能咨询培训老师叶梓转载标明出处由于检索器的不完美和检索语料库中的噪声，检索到的内容可能包含误导性甚至错误的信息，这对生成质量构成了重大挑战。为了解决这一问题，来自弗吉尼亚大学计算机科学系的研究者提出了一种名为INSTRUCTRAG的新框架。Figure1展示了传统的RAG（检索增强型生成）与论文提出的INSTRUCTRAG方法之间的对比。在传统的RAG中，模型直接从用户查询和可能嘈杂的检索文档中预测答案，没有显式的去噪过程或解释答案如何得出。

基于深度学习的图像分类：使用ShuffleNet实现高效分类

qq_74383080的博客

07-27

921

本文介绍了基于ShuffleNet的轻量级图像分类方法。首先阐述了图像分类的定义和应用场景，包括医疗、自动驾驶等领域。重点分析了ShuffleNet的核心技术：点群卷积和通道混洗操作，这些设计在保证精度的同时显著降低了计算量。文章提供了完整的代码实现方案，包括数据预处理、模型加载、训练和评估流程，使用CIFAR-10数据集进行验证。实验表明，ShuffleNet在保持较高分类精度的同时，具有模型轻量化优势，特别适合移动和嵌入式设备应用。最后建议读者可以尝试扩展应用到其他数据集或改进模型架构。

基于深度学习的医学图像分析：使用YOLOv5实现细胞检测

qq_74383080的博客

07-28

1962

本文介绍了使用YOLOv5实现医学图像中细胞检测的方法。文章首先阐述了医学图像分析和细胞检测的重要性及其在病理诊断、生物医学研究等领域的应用。然后详细讲解了YOLOv5的架构优势，包括高效性、灵活性和可扩展性。接着提供了完整的代码实现方案，包括环境准备、数据集加载、预训练模型迁移、模型训练与评估等步骤。通过实际案例展示了如何将YOLOv5应用于细胞检测任务，并鼓励读者尝试改进模型性能。文章为AI在医疗影像分析领域的实践应用提供了实用指导。

基于深度学习的胸部 X 光图像肺炎分类系统（七）

wh_xia_jun的专栏

07-26

346

评估结果总结=====")print(f"评估样本数只考虑有有效边界框的结果计算关键指标print(f"平均平均重合度中位数中间水平标准差波动程度准确率（模型预测肺炎且实际有肺炎的比例）print(f"模型预测准确率肺炎绘制IoU分布直方图（看大多数样本的表现）label=f'平均值分布直方图')交并比(IoU)')频数')绘制预测概率与IoU的关系（看模型自信度和准确性是否相关）预测概率与IoU的关系')肺炎预测概率')交并比。

Inception网络架构：深度学习视觉模型的里程碑

2301_80338712的博客

07-25

937

本文深入探讨了谷歌研究团队开发的Inception网络架构，这一架构自2014年提出以来，对计算机视觉领域产生了深远影响。从最初的GoogLeNet（Inception v1）到后续的多个版本迭代，Inception系列网络不仅在ImageNet等图像分类竞赛中取得了卓越成绩，还引入了多个关键创新，如并行多尺度卷积结构、批量归一化技术和残差连接等。本文详细分析了Inception架构的演进历程、核心设计理念以及其在计算机视觉任务中的应用，同时探讨了该架构的优缺点及其对后续深度学习网络设计的启示。

基于深度学习的医学图像分析：使用CycleGAN实现图像到图像的转换

最新发布

qq_74383080的博客

07-29

590

本文介绍了CycleGAN在医学图像转换中的应用。文章首先阐述了医学图像分析的基本概念和图像转换在诊断、研究等方面的价值。随后详细讲解了CycleGAN的核心原理，包括其包含的两个生成器和判别器架构，以及关键的循环一致性损失机制。通过PyTorch代码示例，展示了从数据预处理、模型构建到训练评估的完整实现流程。实验证明，CycleGAN能够在不依赖配对数据的情况下实现高质量的医学图像转换。文章为医学图像处理领域的研究者提供了实用的技术参考，并鼓励读者进一步探索模型优化和应用拓展。

从JPEG到SER：小波+CNN如何横扫CVPR/ICASSP？

Tulingxueshu的博客

07-28

994

分享一个大模型时代很有潜力的研究方向：小波变换+CNN。随着深度学习的发展，小波变换与CNN的结合受到了越来越多的关注。小波变换能够有效地提取信号的多尺度特征，而CNN则擅长处理图像等复杂数据。两者的结合不仅在图像压缩、语音情感识别等领域取得了显著成果，还为解决特征提取和模型优化等问题提供了新的思路。

机械学习----knn实战案例----手写数字图像识别

enlybbq的博客

07-27

876

本项目基于 KNN（K 近邻）算法，构建手写数字识别系统。利用包含 0 - 9 手写数字的训练数据集，通过预处理图像、划分数据集、训练 KNN 模型，实现对手写数字的精准识别，支持批量测试集评估与单张图片预测# 读取图片并预处理读取指定路径的图像转换为灰度图并重塑为符合模型输入要求的形状使用训练好的 KNN 模型进行预测并返回结果。

2212.10559.pdf

10-23

1. GPT模型在多个数据集上表现良好，尤其是在零样本学习方面。 2. 语言模型隐式地执行梯度下降作为元优化器，这有助于GPT模型在上下文中学习。 3. Kendall等级相关系数表明，ICL FT对于SST2、SST5、MR、Subj和AGNews数据集的性能优于ICL Random。 4. GPT 13B和GPT 27B模型在六个数据集上的Rec2FTP指标表现良好。 5. 以上信息来自于多篇论文，包括“Why Can GPT Learn InContext?”和“MetaOptimizers”。