- 博客(84)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 多模态论文学习路线：视觉、图文对齐、多模态大模型渐进演变
love New [MASK] 需要预测被 Mask 的 Token。 iBOT： ```text Image ↓ Mask Random Patches ↓ Student 要预测被 Mask 的 Patch （基于 Teacher 给出的特征） 因此，iBOT 同时优化两个目标： 1. DINO 的图像级目标 2. Masked Patch Prediction 这样训练出的模型： CLS Token → 图像级特征 Patch Token → 局部特征 都很好。 iBOT 进一步巩固了： 自监督训练可
2026-08-14 18:04:10
366
原创 PaliGemma：用于传输的多功能3B VLM-2407
PaliGemma-2407提出了一种新型视觉语言基础模型，采用SigLIP视觉编码器与Gemma解码器直接连接的架构设计。模型通过三阶段训练：1)视觉语言对齐预训练，全参数微调处理多模态任务；2)渐进式分辨率提升(224→896)；3)下游任务迁移。创新性地采用Prefix-LM注意力机制，允许图像与问题token双向关注，同时保持回答的自回归生成。实验表明100M训练数据即可取得良好效果，但存在高分辨率训练成本高、图像token过长等局限性。该模型支持多图/视频输入，为各类视觉任务提供了灵活的基础模型。
2026-08-14 15:35:43
164
原创 Blip2：使用冻结图像编码器和大型语言模型的Bootstrapping图像预训练-2301
BLIP-2提出了一种高效的多模态预训练方法，通过冻结视觉和语言模型，仅训练轻量级Q-Former作为桥梁。Q-Former通过32个可学习query从图像特征中提取关键信息，形成信息瓶颈。训练分为两阶段：先让Q-Former学习视觉特征与文本的关联（使用对比学习、匹配和生成任务），再学习与语言模型的特征对齐。这种方法避免了直接端到端训练带来的模态鸿沟问题，显著降低了多模态模型的训练成本。代码已开源在LAVIS项目中。
2026-08-12 14:58:01
224
原创 LocCa：使用位置感知字幕的视觉预训练-2403
本文提出LocCa-2403方法，通过多任务学习提升视觉-语言模型的空间理解能力。核心思想是将检测和定位任务转化为文本生成问题，使用语言作为统一接口。模型包含三个任务：普通图片描述（全局理解）、根据描述预测位置（文字到位置）、给定位置生成描述（区域语义）。通过交叉注意力连接视觉编码器和语言解码器，将视觉特征映射到文本空间。总损失函数为三项任务损失的加权和，训练时随机选择任务。该方法旨在解决视觉预训练中细粒度空间理解不足的问题。
2026-08-10 15:26:33
156
原创 SAM3-构建自己的预标注平台，开箱即用
摘要：SAM3是Meta推出的统一基础模型，支持通过文本或视觉提示（点、框、遮罩）实现图像/视频中的物体检测、分割和跟踪。相比前代只能分割单个实例，SAM3创新性地引入Promptable Concept Segmentation范式，支持通过名词短语或图像范例自动分割所有匹配概念实例。文章提供了开箱即用的Python实现代码，包括模型加载、文本提示分割以及将结果转换为LabelMe标注格式的完整流程。该模型已在ModelScope开源，适用于"万物可分割"的计算机视觉任务。
2025-12-01 10:38:43
1101
原创 labelme分割标注数据转yolo格式
摘要：本文提供了一个将LabelMe标注的JSON文件转换为YOLO格式的Python脚本。该脚本支持图像分割和目标检测任务，主要功能包括：自动识别标注类别并按出现频率排序、随机划分训练集/验证集、转换多边形坐标为YOLO格式坐标、生成YAML配置文件。使用argparse接收输入输出路径和数据集划分比例参数，实现了完整的标注数据转换流程，便于YOLOv8等模型的训练准备。脚本会自动处理多种常见图像格式，并保持文件结构的完整性。
2025-11-12 10:38:55
395
原创 labelme标注json文件转8位mask图片
本文介绍了一个将Labelme标注的JSON文件转换为8位掩码图像的工具。该工具包含三个主要函数：collect_labels_from_folder用于收集所有标签并建立映射关系，labelme_json_to_mask处理单个JSON文件生成灰度掩码和可视化彩色图，batch_convert_json_to_mask实现批量转换。工具会自动处理背景标签（设置为0），生成标签映射文件，支持批量操作并保留原始图像。输出结果为8位PNG格式的掩码图像，便于后续深度学习模型训练使用。
2025-11-12 09:59:49
371
原创 BLEU、ROUGE详解-语言模型的常用评价指标-举例附代码实现
ROUGE指标与BLEU指标非常类似，均可用来衡量生成结果和标准结果的匹配程度，不同的是ROUGE基于召回率，BLEU更看重准确率。 其中k表示在候选句子(candidate)中出现的第k个词语,Ck则代表在候选句子中这个词语出现的次数，而Sk则代表在参考文本(reference)中这个词语出现的次数。 2.公式:candidate和reference中匹配的 n-gram 的个数 /candidate中n-gram 的个数.：评价一种语言翻译成另一种语言的文本质量的指标。
2024-08-19 20:02:52
3194
原创 RAG完整构建流程-从入门到放弃
接着，LLM分别为每个检索到的知识块生成答案，然后为每个答案生成反思评分来评估检索到的文档是否相关，最后将评分高的文档当作最终结果一并交给LLM。你的目标是提供准确的信息，并尽可能帮助提问者解决问题。：如果果原始查询太复杂或返回的信息太广泛，我们可以选择生成一个抽象层次更高的“退后”问题，与原始问题一起用于检索，以增加返回结果的数量。：多向量检索同样会给一个知识文档转化成多个向量存入数据库，不同的是，这些向量不仅包括文档在不同大小下的分块，还可以包括该文档的摘要，用户可能提出的问题等等有助于检索的信息。
2024-08-17 10:39:51
2763
2
原创 大模型RAG企业级项目实战：ChatDoc与文件聊天交互完整版代码
检索生成阶段：（1）问题向量化–> （2）根据问题查询匹配数据–> （3）获取索引数据 --> （4）将数据注入Prompt–> （5）LLM生成答案。数据准备阶段：（1）数据提取–> （2）分块（Chunking）–> （3）向量化（embedding）–> （4）数据入库。
2024-08-15 21:28:43
701
1
原创 大模型RAG企业级项目实战：Chatdoc智能助手文档（从零开始，适合新手）
检索生成阶段：（1）问题向量化–> （2）根据问题查询匹配数据–> （3）获取索引数据 --> （4）将数据注入Prompt–> （5）LLM生成答案。数据准备阶段：（A）数据提取–> （B）分块（Chunking）–> （C）向量化（embedding）–> （D）数据入库。此种方式可以找到一些相关的信息块，但是不够精准，接下来使用多重查询进行优化，提高查询的精度。3）对切块的数据进行向量化(embedding)并存储到向量数据库。读取pdf、excel、doc三种常见的文档格式。
2024-08-15 20:08:30
947
原创 Python爬虫入门教程！
爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。对于有些网站，会拒绝掉没有携带 header 的请求的，所以需要做一些 header 增强。现在我们已经获取到了网页返回的数据，即 HTML 代码，下面就需要解析 HTML，来提取其中有效的信息。当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求。data 当中，就是需要传递的表单信息，是一个字典类型的数据。发送 POST 请求。
2024-04-16 15:57:06
1367
原创 论文(六)：Beyond Classification: Whole Slide Tissue Histopathology Analysis By End-To-End Part Learning
*背景：**WSIs是一种分辨率极高的千像素图像，由于计算成本巨大，卷积神经网络(CNN)无法直接进行处理。**方法:**每个WSI被建模为由K组具有相似特征的pathes组成,定义为部分。关于包标签的损失通过集成的CNN模型反向传播到K个用于表示每个部分的输入pathes。**结果:**可以进行有效的预测。可以进行多标签分类。除了分类之外，还提供了丰富的切片信息，为高质量的临床决策提供支持。
2022-11-18 11:47:09
1042
原创 论文(五)：Cluster-to-Conquer: A Framework for End-to-End Multi-Instance Learning for Whole Slide Image
背景：WSI使用MIL框架进行处理。目前最先进的方法是将学习框架划分为两个分离的部分：CNN用于对pathes进行编码，其次是WSI预测的独立聚合方法。这种方法中聚合步骤与CNN编码器学习到的表示没有关系。方法：提出了端到端的框架，该框架将WSI的pathes聚合为k组，从每组中抽取m个pathes进行训练，并且使用自适应注意机制来预测WSI的水平。。
2022-11-01 19:25:02
638
原创 论文(四)：DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for Histopathology Whole
背景：MIL越来越多的用于WSI的分类。在WSI的数量有限，而单个WSI的分辨率非常高。方案：提出虚拟包的概念，去扩大包的数量。在虚拟包的基础上构建双层MIL框架，以有效地使用固有特征。此外，还致力于推导基于注意力的MIL框架下的示例概率，并利用推导来帮助构建核分析所提出的框架。结论：所提出的框架在两个WSI数据集上效果很好。
2022-10-22 20:56:45
2432
4
原创 论文(三):Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification
病理图像(WSI)具有非常高的分辨率，并且通常缺乏本地化注释。当只有图像级标签可用时，WSI分类可以被转换为MIL问题。 我们提出了一种基于MIL的WSI分类和肿瘤检测方法，不需要局部标注。这个方法有三个主要组成部分。引入了一种新的MIL聚合器，该聚合器在具有可训练距离度量的双流体系结构中对示例之间的关系进行建模。WSI会产生大的或不平衡的袋子，从而阻碍MIL模型的训练，我们建议使用自监督对比学习为MIL提取良好的表示，并缓解大袋子的记忆成本过高的问题。
2022-10-10 21:47:11
2201
原创 论文(二)：Kernel Self-Attention for Weakly-supervised Image Classification using Deep Multiple Instance
并非所有的监督学习问题都是用一对固定大小的输入张量和一个标签来描述的。在某些情况下，特别是在医学图像分析中，一个标签对应于一个实例包(例如图像补丁)，为了对这个包进行分类，需要从所有实例中聚合信息。有几次尝试创建一个使用实例包的模型，但是，他们假设包内没有依赖关系，并且标签连接到至少一个实例。在这项工作中，我们引入了自注意的基于注意的MIL池(SA-AbMILP)聚合操作来解释实例之间的依赖性。
2022-10-06 21:50:32
742
原创 论文(一)：Revisiting multiple instance neural networks
近年来，神经网络和多实例学习(MIL)都是人工智能相关研究领域的热门课题。深度神经网络在监督学习问题上取得了巨大的成功，而MIL作为一种典型的弱监督学习方法，在计算机视觉、生物识别、自然语言处理等许多应用中都是有效的。在这篇文章中，我们回顾了多实例神经网络(MINNs)，神经网络旨在解决MIL问题。 minn采用端到端方式执行MIL，将具有不同数量实例的袋子作为输入，直接输出袋子的标签。MINN中的所有参数都可以通过反向传播进行优化。
2022-10-02 21:30:38
1105
原创 考研数据结构前置知识点-C语言补充
一、数组 数组是存放一组相同类型元素的集合。1、数组的创建数组类型 数组名[数组长度]; int char double float long //创建实例int arr[10];//实例2define X 10int arr1[X];//定义其他类型数组char arr2[10];double arr3[10];//注：数组进行创建时，[]中必须给一个常量，不能使用变量。可以使用宏定义//错误示例int a;scanf("%d",&a);int arr4[a];
2022-05-23 22:38:22
526
原创 力扣每日一题之1823. 找出游戏的获胜者
398. 随机数索引题目示例提示我的题解题目给你一个可能含有 重复元素 的整数数组 nums ，请你随机输出给定的目标数字 target 的索引。你可以假设给定的数字一定存在于数组中。实现 Solution 类：Solution(int[] nums) 用数组 nums 初始化对象。int pick(int target) 从 nums 中选出一个满足 nums[i] == target 的随机索引 i 。如果存在多个有效的索引，则每个索引的返回概率应当相等。示例输入["Solution",
2022-05-04 10:53:10
349
原创 python之数据分析与展示(numpy、matplotlib、pandas)
前提说明：在学习了一定的python基础后，方可继续学习这方面的内容。如果没有python基础语法的学习，可以浏览python基础语法笔记总结。这里主要是讲解numpy、matplotlib、pandas这些第三方库。对于数据处理和分析展示用这几个库函数会特别的便捷。文章目录一、数据分析及表示1、NumPy入门1.1、数据的维度1.2、NumPy的数组对象：ndarray1.3、NumPy数组的创建和变换1.4、ndarray数组的操作1.5、n
2022-04-28 17:10:26
1072
1
原创 python之网络爬虫与信息提取(上篇)
前提说明：在学习了一定的python基础后，方可继续学习网络爬虫方面的内容。如果没有python基础语法的学习，可以浏览python基础语法笔记总结。目录一、网络爬虫之规则1、Requests库入门1.1、get()方法1.2、Requests库的异常1.3、爬取网页的通用代码框架1.4、HTTP协议1.5、Requests库主要解析2、Robots协议3、Requests库网络爬虫实战3.1、百度搜索关键字3.2、网络图片的爬取和存储二、网络爬
2022-04-21 16:20:12
1247
1
原创 力扣刷题笔记-557. 反转字符串中的单词 III
今天详解力扣一道题，用python语言进行详解557. 反转字符串中的单词 III题目：给定一个字符串 s ，你需要反转字符串中每个单词的字符顺序，同时仍保留空格和单词的初始顺序。示例1：输入：s = "Let's take LeetCode contest"输出："s'teL ekat edoCteeL tsetnoc"示例2：输入： s = "God Ding"输出："doG gniD"
2022-04-17 23:57:58
921
1
原创 python练习实例（七）
目录1、汉诺塔实践1、汉诺塔实践有三个圆柱A、B、C，初始时A上有N个圆盘，N由用户输入给出，最终移动到圆柱C上。每次移动步骤的表达方式示例如下：[STEP 10] A->C。其中，STEP是步骤序号，宽度为4个字符，右对齐。
2022-04-14 12:00:52
2460
1
原创 python练习实例（六）
目录1、BMI指标判断1、BMI指标判断问题：根据身高和体重，测量出bmi值，通过标准，判断出身体类型分类国际BMI值国内BMI值偏瘦<18.5<18.5正常18.5 ~ 2518.5 ~ 24偏胖25 ~ 3024 ~ 28肥胖>=30>=28方法：采用多分支结构，进行判断height,weight = eval(input("请输入身高(米),体重(公斤):"))bmi = weight / pow(heig
2022-04-11 11:49:01
885
原创 python练习实例（四）
目录1、将摄氏温度和华式温度进行转换2、货币转换1、将摄氏温度和华式温度进行转换分析:通过根据输入的温度类型，进行相应的转换转换公式:摄氏温度*1.8+32 = 华式温度#摄氏温度和华式温度之间的转化TempStr = input("请输入带符号的温度值：")if TempStr[-1] in ['f','F']: #eval()评估函数：去掉参数外侧的引号，并执行剩下语句 #eval("1+2") 参数是一个字符串，去掉引号，变成1+2，最后结果为3 C = (eval(Temp
2022-04-10 10:05:33
2097
2
原创 python爬取网页时，编码出错问题
UnicodeEncodeError: 'gbk' codec can't encode character '\xb9' in position 61513: illegal multibyte sequence
2022-04-06 22:38:33
1331
原创 python练习实例（三）
目录1、打印一条横线的函数2、写一个函数，可以通过输入的参数，来确定打印自定义横线的行（提示：调用上一个函数）3、写一个函数，求三个数的和4、写一个函数，求三个函数的平均值（提示：调用上一个函数）5、文件输入输出实例1、打印一条横线的函数def print_1(): print('----------------') print_1() #函数的调用2、写一个函数，可以通过输入的参数，来确定打印自定义横线的行（提示：调用上一个函数）def print_1(): print
2022-04-06 19:47:07
1547
原创 python练习实例（二）
目录1、斐波那契数列2、输出 9*9 乘法口诀表。3、暂停一秒输出,并格式化当前时间4、经典问题：不死神兔5、判断101-200之间有多少个素数，并输出所有素数。1、斐波那契数列程序分析：斐波那契数列（Fibonacci sequence），又称黄金分割数列，指的是这样一个数列：0、1、1、2、3、5、8、13、21、34、……。在数学上，费波那契数列是以递归的方法来定义：F0 = 0 (n=0)F1 = 1 (n=1)Fn = F[n-1] + F[n-2] (n=>2)
2022-04-04 22:48:13
1041
原创 python练习实例（一）
目录1、有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？2、企业发放奖金与利润提成3、一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？1、有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？程序分析： 可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去 掉不满足条件的排列。实现步骤： 使用三个循环，进行循环嵌套，分别从1到4进行遍历，如果三个数都不相等时，输出，并总数+1n
2022-04-01 21:02:03
345
原创 考研复试（七）-数据结构（）
目录1、存储结构2、逻辑结构3、用循环比递归的效率高吗？4、树与二叉树的相关概念？5、二叉排序树6、平衡二叉树1、存储结构存储结构是指数据结构在计算机中的表示，也称物理结构，主要有以下4种：1、 顺序存储。把逻辑上相邻的元素存储在物理位置上也相邻的存储单元中，元素之间的关系由存储单元的邻接关系来体现。其优点是可以实现随机存取，每个元素占用最少的存储空间；缺点是只能使用相邻的一整块存储单元，因此可能产生较多的外部碎片。2、 链式存储。不要求逻辑上相邻的元素在物理位置上也相邻，借助指示元素存储地
2022-03-27 15:35:24
712
原创 考研复试（六）-操作系统（文件、IO）
目录1、文件的基本操作？2、磁盘调度算法有哪些？3、I/O控制方式有哪些？4、Spooling技术？1、文件的基本操作？文件属于抽象数据类型。为了恰当地定义文件，就需要考虑有关文件的操作。操作系统提供系统调用，它对文件进行创建、写、读、定位和截断。①创建文件：创建文件有两个必要步骤，一是在文件系统中为文件找到空间；二是在目录中为新文件创建条目，该条目记录文件名称、在文件系统中的位置及其他可能信息。②写文件：为了写文件，执行一个系统调用，指明文件名称和要写入文件的内容。对于给定文件名称，系统搜索目录以
2022-03-26 22:39:58
1556
原创 考研复试（五）-操作系统（内存管理）
目录1、存储器管理应具有的功能？2、将用户程序变为可在内存中执行的程序的步骤？3、程序的链接方式有哪些？4、程序的装入方式有哪些？5、覆盖技术和交换技术？6、内存连续分配管理方式有哪些？7、页面置换算法有哪些？8、什么是页表和快表，有什么作用？1、存储器管理应具有的功能？存储管理的主要任务是为多道程序的运行提供良好的环境，方便用户使用存储器，提高存储器的利用率以及从逻辑上扩充存储器，故应具有以下功能：① 内存的分配和回收：实施内存的分配，回收系统或用户释放的内存空间。② 地址变换：提供地址变换功能，
2022-03-24 11:34:48
400
原创 考研复试（四）-C语言
目录1、内存分配2、运行C程序的步骤和方法3、关键字static的作用是什么？4、堆栈溢出一般是由什么原因导致的？5、请说出const与#define 相比，有何优点？1、内存分配1、堆区：由malloc()系列函数或者new操作分配内存。他的生命周期由free或delete决定，在没有释放之前他们都会一直存在，直到程序结束。其特点就是使用灵活，空间空间比较大，但是容易出错。2、栈区：保存局部变量。栈上的内容只在函数的范围内存在，当函数运行结束这些内容也会被自动销毁，其特点就是效率高，但是空间有限。
2022-03-19 14:16:09
1894
原创 考研复试（三）-计算机网络
目录1.计算机网络的主要功能？2.电路交换，报文交换和分组交换的区别？3.计算机网络的主要性能指标？4、五层协议5.频分复用 时分复用 波分复用 码分复用6、三次握手1.计算机网络的主要功能？1、硬件资源共享。可以在全网范围内提供对处理资源、存储资源、输入输出资源等昂贵设备的共享，使用户节省投资，也便于集中管理和均衡分担负荷。2、软件资源共享。允许互联网上的用户远程访问各类大弄数据库，可以得到网络文件传送服务、远地进程管理服务和远程文件访问服务，从而避免软件研制上的重复劳动以及数据资源的重复存贮，
2022-03-16 21:03:32
1268
原创 考研复试(二)-操作系统
目录1.操作系统发展过程？2.操作系统的基本特征？3.操作系统的主要功能是什么？4.进程的五种状态是什么？5.经常通信类型有哪些？6.线程间的同步与通信类型有哪些？7.处理机调度有哪几层？8,处理机调度算法有哪些？9.页面置换算法有哪些？10.I/O控制方式有哪些？1.操作系统发展过程？1无操作系统（人工操作方式）：用户独占、CPU等待人工2.单道批处理：内存只保存一道作业3.多道批处理：允许多个程序同时进入主存并允许它们在cpu中交替运行4.分时操作系统：把处理器的运行时间分成很短的时间片，按时
2022-03-15 15:30:44
657
eclipse中导包时Arrays类，无法使用
2022-02-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人