- 博客(8)
- 收藏
- 关注
RSS订阅原创 初尝试：DataWhale × 多模态RAG
2. 生成（Generation）： 将原始查询 Q 和检索到的相关上下文 {R₁, R₂, ..., Rₖ} 一起输入给一个强大的多模态大语言模型（MLLM），让该模型基于这些信息生成最终答案 A：A = MLLM(Q, R₁, R₂, ..., Rₖ)。简而言之：多模态 RAG 的数学核心在于将不同模态信息转化为高维向量 (R^d)，在这个空间中进行高效的相似度搜索（基于点积/余弦相似度和 ANN），并利用注意力机制（本质是依赖点积的加权向量求和）动态融合检索到的多模态上下文信息来生成答案。
2025-08-09 20:28:35
207
原创 初尝试：Datawhale X 魔搭 AI夏令营2024第四期-AIGC-纯个人笔记3
本次使用comfyUI来生成图像，具体的过程是先在魔搭的平台上输入comfyUI的引导代码，然后进入网址，选择json文件与提示词后，就可以出现图像。comfyUI既可以作为前端，又可以接入后端，还是很nice的。
2024-08-17 11:45:32
171
原创 初尝试：Datawhale X 魔搭 AI夏令营2024第四期-AIGC-纯个人笔记1
很荣幸能参加第四期datawhale的AI夏令营，这次选择的是AIGC的话题，任务是生成8图的小故事，感觉还是很奇妙的过程。期望自己可以在这次旅程中学到很受用的内容。
2024-08-11 22:10:10
358
原创 初尝试：Datawhale AI夏令营2024第三期-逻辑推理-纯个人笔记3（待写）
讲义上的这句话让我感触良多，思考、沉淀和产出。这句话并不意味着我们吸收外界知识然后内化于心，长出自己的看法与见解。其实不是这样的，不应该有自己的东西在，甚至更不应该讲给任何人听，业界普遍认同的才是这个事物的本貌，我们又为什么要强行加上自己幼稚的思考呢？本次要解决的是LoRA微调的问题（这几天要反思的事情太多了，希望之后可以有机会把这些笔记好好写写）请做好一个消息传递者的任务，否则，我永远都不可能取得任何信任。产出的应该是标准化过的东西。
2024-08-02 21:55:45
228
原创 初尝试：Datawhale AI夏令营2024第三期-逻辑推理-纯个人笔记2
案前鲜明地写着“baseline精读”，好好好，希望能把我自己也读精了，这里主要是讲大模型推理实现最常用方法——提示工程(Prompt Engineering)和相应的一些硬件处理的方法。作为软硬件的学生，当然还是感觉这里的“多线程处理”最吸睛了。上次笔记的代码是有结构的，结构如下图。
2024-07-30 21:00:17
154
原创 初尝试：Datawhale AI夏令营2024第三期-逻辑推理-纯个人笔记1
夏令营报名时有很多选择（分子、金融......），开局不知道选择哪个，听说大模型推理数理问题不太行，果断选择逻辑推理，因为在这里就可以避免看到某些程序高手与大模型本身的优势双剑合璧，秀我一脸、让我自卑。word经过tokenization后嵌入成向量，操作的是向量，操作的目的是预测下一个向量，这样就转换成了个序列预测的问题，靠着下面这个式子来计算序列的下一个词。步2：定个盒子，装进去模型的名字和请求，它多调几次，因为怕一次调不成功；步1：咔咔一顿库，都是为了跑得流畅的，准备用qwen2-7b。
2024-07-28 08:01:03
246
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人