- 博客(91)
- 收藏
- 关注
原创 多模态模型CLIP
在传统的诗句任务中无法识别出我们训练之外的类别,训练1000个类别,预测就是者1000个类别的概率,无法拓展;如果新增类别还得重新训练不能一劳永逸,然而clip可以解决这个问题,可以不用学习新增类别就可以识别出新的类别。CLIP 在完全不适用ImageNet中所有数据训练的前提下,直接Zero-short得到的结果与Resnet在128W Image数据训练后效果一样。
2024-08-09 10:49:41
641
原创 强化学习的数学原理(2)
Value iteration、Policy iteration、基于蒙特卡洛(Monte Carlo)的强化学习方法、
2024-07-17 21:50:41
880
原创 强化学习的数学原理(1)
强化学习中的基本概念:State、Action、State transition、Policy、Reward、Trajectory and return、Discounted return、Episode;以及Markov decision process框架;贝尔曼公式;最优策略和贝尔曼最优公式
2024-07-14 16:31:56
946
原创 恶劣天气下的车辆探测:多方关注 多模态融合方法
遇到的问题,在恶劣天气情况(雾霾,雨天)下,只通过摄像头单一的目标检测,很难实现安全可靠的车辆、路况检测所做的工作:在MVDNet框架的基础上构建多头注意力机制的MVDNet模型,实现模型对采集数据各个方面特征点的收集,并且融合各种传感器(摄像头、激光雷达、雷达)的互补优势,实现了能够高精确度、高鲁棒性的恶劣天气下的车辆,路面障碍探测系统。
2024-05-20 20:42:52
1437
原创 弥合多焦点和多模式之间的差距:集中集成多模态图像融合框架
遇到的问题:在多模态图像融合领域不同焦点区域的多幅可见光图像与红外图像融合过程中,由于可见光镜头的焦距深度有限,阻碍了同一场景内焦距信息的同时采集所做的工作:提出了一个MMIF框架,用于联合聚焦集成和模态信息提取。引入了一种基于半稀疏的平滑滤波器,将图像分解为结构和纹理组件。在此基础上,提出了一种融合纹理分量的多尺度算子,通过考虑各模态图像的像素焦点属性和相关数据,能够检测出重要信息。
2024-05-20 10:39:23
746
原创 跨语言迁移学习@多模态仇恨言论事件检测2024::多模态仇恨言论检测的有效策略及其目标
遇到的问题:图像和仇恨言论文本已多模态的形式出现,统的单模态模型仅关注文本或图像分类,无法有效解释这些多模态场景中仇恨言论的细微差别和往往依赖于上下文的性质。所做的工作:采用基于twitter的RoBERTa(Loureiro等人,2023)和Swin Transformer V2模型(Liu等人,2022)来提取用于编码文本和视觉内容的特征,并通过多层感知器(MLP)融合技术将它们连接。在不需要特征工程的情况下,能够有效地整合和分析文本和视觉信息,以准确识别文本嵌入图像中的仇恨言论
2024-05-18 12:53:51
1632
3
原创 基于时间序列图像不确定性分析的多模态少样本目标检测
缺乏针对像素级多的训练,少数样本学习模型再实际应用中的表现不佳。由于仅使用单模态数据进行训练,导致模型再不同平台泛化能力较差等问题提出了一种基于特征提取的不确定性分析的几类学习模型,采用编码器-解码器结构和挤压-注意力模块。所提出的模型在编码块中包含两个组件,包括残差表示提取和注意力层。提出了一种从多模态图像中提取固有表征和潜在表征的新方法;针对不同的现实场景进行了多个多模态数据集,以研究所提出的少样本学习方法的性能。
2024-05-17 12:58:10
1022
2
原创 C语言基础
常量和常量表达式的区别标准输入输出scanf本质上是一个“模式匹配函数”,试图把输入的字符与转换说明进行匹配,从左到右一次处理转换说明,如果成功,则继续处理后面的字符串,如果失败,则立即返回,返回值表示处理转换说明成功的个数转换说明:(1)表示匹配的规则(2)表示将字符数据转换成对应的二进制数据格式串:普通字符,其他字符(精确匹配),空白字符(匹配任意多个空白字符,包括零个)注意事项:scanf匹配%d,%f(进行数值匹配的时候,会匹配前面的空白字符)读写整数 无符号十进制整数 无符号八进
2023-12-09 16:17:47
420
原创 Linux&MySql
删除数据库创建数据库使用数据库use DbName;查看创建数据库语句以及字符编码修改数据库属性(字符编码改为gbk)字符校对集查看数据库支持的字符集查看相应字符集的校对规则数据类型TIMESTAMP在进行自动记录创建表结构...查看表结构desc tName;修改表结构添加列(字段)对字段名进行修改对字段名的类型进行修改删除一个字段删除表结构查看数据库中有多少表DML。
2023-11-09 22:21:05
403
2
原创 Linux网络编程03
epoll的使用,设置socket属性,进程池,创建进程池,使用epoll实现聊天室。文件校验,零拷贝,文件映射(mmap)实现零拷贝
2023-11-05 16:16:06
151
原创 Linux系统编程05
使用代码启动多个进程,system库函数,fork系统调用,exec系统调用,进程终止,会话管理session,守护进程deamon,进程间通信(IPC),管道,共享内存
2023-10-22 15:12:49
291
原创 vim快捷指令
展示行号的指令,只会再当前文件并且当前编辑时才会生效,当我们第二次打开文件时,就不会展示行号如果vim可以帮我们提前填写好这些内容那么会大大加快我们的开发效率。查找以d字母开头以r结尾的单词,中间的[^ ]是为了确定是单个单词,标注出如果查找的字符串中不能出现空格。set autoindent //自动缩进,会根据上一行的缩进自动进行本行的缩进。set hlsearch //当我们进行查找时,会将查找的结果进行高亮展示。syntax on //会根据语言的不同来给关键字显示高亮。
2023-10-17 17:24:07
242
原创 Linux系统编程03
不带缓冲区的文件IO,cp命令实现,文件截断,内存映射mmap,lseek,单工通信,半双工通信,全双工通信,IO多路复用,管道,select原理
2023-10-16 20:59:51
163
原创 Linux系统编程02
makefile原理,伪目标,增加makefile通用性,更改文件属性,目录流,stat配合目录流实现 ls -al,实现tree命令,不含缓冲的文件IO
2023-10-14 23:02:57
617
原创 Linux指令集合
c语言程序在linux上运行,首先编译器会将 *.h文件和 *.c文件进行预处理形成预处理后文件 *.i文件,然后 *.i 文件会经过编译形成 *.s 汇编文件 ,然后再经过汇编形成 *.o 目标文件 ,最后再进行引导代码和库函数的链接 形成没有后缀的 * 可执行文件。有了公钥我们就可以让其他设备直接使用公钥和我们建立连接,这里使用的时gitee代码管理仓库来实现我们的对接,查看公钥并且将公钥配置在我们的gitee仓库之后,我们就可以不用输入密码直接在gitee仓库上push,clone,pull代码。
2023-10-13 17:41:41
198
原创 unity获取高德key----Android篇
unity开发Android应用时调用高德API,创建API的Key获取SHA1签名和PackageName
2023-03-23 20:16:28
561
原创 微信小程序页面跳转
微信小程序为页面跳转准备了许多的API,可以让我们在不同的情况下调用不同的API,下面我就简单介绍一下常见的页面跳转的方法。1,navigateBack跳转到上一个页面。假如现在有A,B两个页面,最开始我们在A页面,然后我们通过A页面的一些操作直接进入了B页面,这时我们还想从B页面回到A页面,可以直接用navigateBack;不仅如此我们还可以返回到他的多级上级页面,就是加入有A,B,C三个页面我们从A直接到B,从B直接到C,我们就可以用这个方法直接从C页面跳回到A或B页面wx.navigate
2022-04-21 23:54:44
1620
原创 微信小程序开发---连接云开发数据库,实现数据获取
微信小程序获取云开发数据库数据详细教程,数据库数据取出超过20 条的方法,数据库数据筛选,微信云开发关于云数据库数据获取的超详细教程
2022-03-15 13:14:49
20800
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人