- 博客(8)
- 收藏
- 关注
RSS订阅原创 “兄弟包会的”--lora微调入门实战
Lora参数微调通常指的是在大型语言模型（LLM）中，使用LoRA（Low-Rank Adaptation）方法进行高效的参数调整。LoRA是一种参数高效微调技术，它通过低秩分解来模拟参数的改变量，从而大大减少了下游任务的可训练参数数量。
2024-12-08 15:51:49
1425
原创 “兄弟包会的“--本地部署通义千问(Qwen-7B-chat)大模型实战(大模型项目一)
虽然该项目仓库已停止更新，但是原理没变，适合初学者学习。
2024-11-27 19:59:34
2237
原创 “兄弟包会的”--LLAMA从0到1原理＋代码详解（一）[Embedding、RMSNorm、旋转位置编码]
长时间没更新，忙于学业和实习，接下来将从0开始讲解LLAMA代码，参考了大量文献和菜菜老师的课程，希望大家能多多交流，提出宝贵的意见。
2024-11-14 18:05:22
1672
原创 “不可能学不会的”--视觉大模型的迁移方法（Linear Probing、Finetune、Adapter、Prompt）
当需要快速评估预训练模型表征能力时，可以选择Linear probing；当目标任务与预训练任务相似且数据集较大时，可以选择Finetune；当需要参数高效且任务独立的迁移学习方法时，可以选择Adapter；而当希望避免微调模型参数且任务灵活性要求较高时，可以选择Prompt。
2024-11-01 23:47:30
3091
原创 “不可能学不会的”--CLIP代码＋解析
CLIP（Contrastive Language-Image Pre-training）是由OpenAI开发的一种多模态预训练模型，它能够将图像和文本嵌入到同一个向量空间中，使它们能够相互“理解”。CLIP能够同时处理两种不同模态的信息——图像和文本。传统的AI模型通常只处理单一类型的输入，比如只理解文字（如GPT-3）或只理解图像（如ResNet）。而CLIP可以同时理解这两者，这使它特别适合于需要将文字和图像关联起来的任务。
2024-10-28 16:51:20
5067
2
原创 “不可能学不会的”--DINO讲解+代码
DINO的核心思想是通过自蒸馏的方式，让学生网络模仿教师网络的行为，从而在无标签数据上学习有用的视觉特征。在计算机视觉领域，自监督学习逐渐受到重视，因为它能够解决标注数据稀缺的问题，并帮助模型学习更丰富的视觉特征。
2024-10-27 14:55:21
1579
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人