- 博客(18)
- 收藏
- 关注
RSS订阅原创 Symbolic Learning Enables Self-Evolving Agents详解
这篇文章是一篇非常完善的自编排、自进化agent框架文章，且开源了完整的代码仓库。实现了根据特定任务的agent动态实例化，动态任务分解（sop生成nodes）以及初步的自编排，通过计算文本的loss，可以训练其中的模块，具有较大的自由度。总的来说是一个值得学习的工作。
2025-08-04 23:18:34
713
原创 面试题——AttentionMask变体
代码的实现主要看tensor的运用，一般tensor可以使用[:, None]的形式在指定地方扩展/新增一个维度，运算时会broadcast，快速得到结果。2. 标签小于当前单词标签的单词（假设标签从小到大分配）：一个列表，表示每个单词的 chunk 标签。1. 和当前单词标签相同的单词。
2025-02-14 09:54:58
238
原创 BLIP系列粗暴解读 —— BLIP
BLIP通过引入decoder和三个loss的设计，使得图文预训练模型可以兼顾理解和生成。通过少量人类标注数据，可以利用好架构中的encoder和decoder来进行数据集的增强，兼顾了数据清洗和模型预训练，提升基础模型能力。整体的设计非常精妙，到现在也还不是非常过时
2025-02-08 11:37:04
696
原创 【论文阅读】QLoRA：Efficient Finetuning of Quantized LLMs
这篇的重点在于分位数量化，理解了这个概念基本可以理解QLoRA的思想，而QLoRA在此基础上增加了零点的处理。毕竟零点在深度学习中非常重要，LLM的padding用到的[PAD] token一般就是0，因此需要特殊处理。
2025-02-03 02:17:26
1848
3
原创 Argparse的小记录
当参数不指定type时，命令行传参仅需要把这个参数写出来，例如：--load_in_8bit，即默认为True；而不需要--load_in_8bit True。若不在命令行传这个参，他就会为False。这一点与HFArgumentParser有点不一样。
2025-01-06 16:27:22
120
原创 Tokenization系列【1】—— BPE&GPT2 tokenizer
编码流程可以总结成：正则表达式分词 -> 编码成utf-8 -> byte_encoder转换成对应的字符形成序列 -> bpe迭代合并字符 -> 根据encoder.json (即vocab) 转换成对应的索引（tokens）解码流程则比较简单，总结如下：tokens -> 反转键值对的vocab即为decoder，取出token对应的词 -> 反转键值对的byte_encoder即为byte_decoder，将每个字符转回utf-8索引 -> utf8解码 -> text"""
2024-12-26 16:48:40
2288
原创 手撕交叉熵 Cross-Entropy
由于优化需要，本来打算重写一次交叉熵，支持更灵活的操作；结果发现torch里实现的函数已经够我用了，但是既然有了这个想法，那就还是自己敲一遍吧。（祖师爷の凝视）
2024-12-25 13:28:40
750
原创 Building Your Own GPT —— From the view of next token prediction
到这里整个构建流程就结束啦。这份代码是基于字母预测的，而实际生成情况要复杂的多，会基于词级别做token embeddings，这就涉及一系列的分词方法和embeddings方法，最终达到GPT的惊艳的生成效果，但是其本质都是先构建一个词表（vocab），然后做next-token prediction。后续会继续丰富相关的内容，并用LLM做一些更有意思的事情。（碎碎念：有时不得不服老外的耐心，openAI的大神亲自一行一行敲代码，从很简单的model到最终的GPT，让你感觉原来这东西也没啥；
2024-12-23 14:43:30
661
原创 None Supervision Training Paradigm
本文粗略的记录了几种非监督学习的训练范式，并分析了一下可能存在的问题，因为自己本身也还不是特别懂这些领域且工作内容暂时没有涉及这方面，因此写的也不是太严谨，仅供参考，如有事实性错误麻烦看到的大佬指正。PS：伪标签不一定是“生成”的或者本身不存在标签，在早期研究的语境下，是模型为未标注数据预测的标签，该标签存在于我们预先定义的Label Set中（主要是笔者自己容易和synthesis caption混淆，特此注明）
2024-12-19 18:26:20
703
原创 【论文阅读】WHEN AND WHY VISION-LANGUAGE MODELS BEHAVE LIKE BAGS-OF-WORDS, AND WHAT TO DO ABOUT IT?
概述本文指出在VLM上，以传统的图文检索任务作为训练目标和评估指标存在缺陷，会忽略掉模型对属性、关系和顺序信息的敏感性。作者做了大量实验揭示了传统检索benchmark上vlm性能的顺序无关性，并针对此问题提出了新的ARO Benchmark。同时，作者用一种简单的负样本对构建方法，在不改变原有训练任务和模型结构的情况下，弥补了原模型在位置关系等信息检索上的性能缺陷。
2024-12-18 22:58:41
637
1
原创 Webdatasets加载数据的一些坑
webdatasets是一种序列化的大规模数据存取技术，所有数据以tar包的形式存在，可以用url或者本地路径进行访问，常用于大模型训练数据的存取，其特点在于“顺序”。实现了图文对数据的读取及其预处理，并通过class_mapper来将标签映射到对应的索引。
2024-12-10 16:06:53
722
2
原创 BLIP系列粗暴解读 —— BLIP2
BLIP系列是salesforce在多模态领域做的工作，个人觉得其设计思路较为精巧，稍作记录。本篇为BLIP系列的第一篇，记录的是这个系列的改进模型BLIP2.
2024-11-28 00:06:59
1306
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人