- 博客(52)
- 资源 (2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 【多模态】多模态模型实践——swift3框架使用
swift3相比于swift2做了大升级，很多swift2能使用的在3里面error改改改…但是效率确实大升级，推理速度快了很多～～～
2024-12-21 14:32:49
1289
原创 【多模态】swift框架使用qwen2-vl
前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。
2024-12-14 22:42:09
2298
4
原创 【多模态】MiniCPM-V多模态大模型使用学习
前面学习了一些常见多模态模型的架构，现在开始学习使用minicpm-v-2.6模型，记录学习过程，欢迎批评指正～
2024-12-14 21:25:23
1970
原创 【多模态】Flamingo模型技术学习
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~
2024-11-23 15:40:30
1264
原创 线上模型准确率估计——在没有标签的测试数据上估计模型准确率
本地训练、验证数据有标签，但是模型上线后新来的数据均无标签，如何估计线上模型的准确率？
2024-11-09 10:49:44
1129
原创 【多模态】BLIP-2模型技术学习
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP之后，今天学习一下BLIP-2模型，记录学习过程，主要是模型架构、训练方式和相关源代码的理解。欢迎批评指正，一起学习~~
2024-11-09 09:25:32
1651
1
原创 【多模态】ViT模型技术学习
最近多模态模型特别火，一起从头学习ViT和Transformer！本文记录一下学习过程，所以是自上而下的写，从ViT拆到Transformer。
2024-10-10 23:31:23
3823
1
原创 推理阶段不同batch size对大模型推理结果的影响
大模型推理阶段，进行batch inference批处理推理解码，会有什么问题吗？batch inference推理的结果居然会和一条一条推理结果差的很远？！！!
2024-09-21 11:52:14
3214
1
原创 【多模态】多模态大模型MiniCPM-V技术学习
多模态大模型Minicpm-V-2.6参数8B，int4版本推理显存仅7GB，作为端侧大模型效果非常好，并且在幻觉数据集上效果优于其他模型，一起来学习为什么它这么强
2024-09-21 10:58:40
1563
1
原创 Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models[论文笔记]
CVPR 2022，对抗样本能用来提升AI公平性
2022-03-11 09:28:14
3475
2
原创 windows下styleGAN2和styleGAN3编译配置bug
styleGAN2和styleGAN3在windows下报错踩坑解决
2022-03-08 21:18:27
5825
26
原创 Adversarial Visual Robustness by Causal Intervention论文笔记
Adversarial Visual Robustness by Causal Intervention论文阅读过程中的笔记
2021-12-11 15:23:09
1166
原创 机器学习公平性指标小结
文章目录前言一、Unawareness二、individual fairness三、group fairness1. disparate impact2. equal opportunity3. disparate mistreatment4. equal calibration总结前言 机器学习系统中，如果模型的表现或模型的预测结果与敏感属性(性别、肤色等)有统计上的关联，那么这个机器学习系统就可能是不公平的：(1) Timbru等人发现一些商业的性别分类API中，白人的准确率明显高于有色人种；(
2021-05-27 19:01:03
5114
5
原创 联邦学习之差分隐私
联邦学习过程 联邦学习以轮为单位，每个轮内包含模型分发、本地训练和全局更新这3个阶段。1. 模型分发 在模型分发阶段，服务器按照一定标准，选择参与本轮联邦学习的设备，例如下图中选中了3个设备，向它们分发全局模型。2. 本地训练 在本地训练阶段，每个设备加载当前全局模型，使用自己的训练数据训练，得到新的本地模型。3. 全局更新 在全局更新阶段，每个设备向服务器上传模型更新值，服务器收集更新值进行聚合，得到聚合结果，更新全局模型。下一轮，服务器会将新的全局模型发送给选中的设备
2020-10-17 10:59:44
9355
22
原创 联邦学习之安全聚合SMPC
联邦学习之安全聚合联邦学习过程1. 设备选择2. 参数分发3. 本地更新4. 全局更新5.收敛判停DSSGDFedAVG安全聚合SMPCDH密钥交换秘密分享secret share引理1Shamir′s Secret Sharing with 2−out−of−3 (t = 2, n = 3)联邦学习过程 联邦学习以轮为单位，每轮包含设备选择、参数分发、本地更新和全局更新这4个步骤1. 设...
2020-02-15 13:16:24
13801
25
原创 边缘智能相关论文(Edge Intelligence & Federated Learning)
边缘智能相关论文Federated Learning PreliminaryFast InferenceModel CompressionFederated Learning PreliminaryPrivacy-Preserving Deep Learning,CCS, 2015文中提出了Distributed Selective SGD，许多联邦学习文章都会引用该论文。Communi...
2019-12-09 21:05:16
4661
1
原创 生成DES的S盒
文章目录1. DES的S盒满足的规则2. 设计思路2.1 总的思路2.2 满足S盒规则2.2.1 满足①+②2.2.2 满足③2.2.3 满足④2.2.4 满足⑤3. 编程实现3.1 矛盾组3.2 ⑤的不等组3.3 S盒存放3.4 ③④规则实现3.5 ⑤的实现3.6 摆放数字4. 结果呈现5. 完整代码1. DES的S盒满足的规则①S盒的每一行是整数0-15的一个置换；② 每个S盒的传输函数...
2019-11-09 15:24:16
7798
原创 EM算法推导pLSA
简介 概率潜在语义分析(Probabilistic Latent Semantic Analysis)模型简称pLSA。可以使用EM算法来估计pLSA的参数。已知 有文档集合D={d1,...,dN}D=\{d_1,...,d_N\}D={d1,...,dN}，词语集合W={w1,...,wM}W=\{w_1,...,w_M\}W={w1,...,wM}，文档的（不可观测的隐变量...
2019-05-31 08:34:08
1042
原创 llvm的pass Helloworld
挖了一个坑，还不知道能不能填好。。。。。。前提 已经安装好了llvm，如llvm的3.7.0版本，编译安装好以后的文件结构如下，build是之前在build中进行make的文件夹，llvm是源码。1 进入llvm文件夹中，llvm源码中有一个lib文件夹，里面有一个Transforms文件夹，进入/llvm/lib/Transforms。2 在Transforms中关注两...
2019-05-25 13:25:40
862
原创 ubuntu16.04安装LLVM3.6.0
因为最近需要用到LLVM做DOPDefender，开始第一步需要安装LLVM+clang，论文中做DOP攻击给的github上的DOP-StaticAssist是LLVM3.5的，想着安装一个3.5，但是尝试了很久，特别是3.5.0，一直报错，说找不到“all”，查了以后发现很多人都遇到这个问题，这是一个本身的bug，试了3.5.1和3.5.2都失败了，于是试3.6.0，安装成功了。安装cm...
2019-05-10 19:52:05
2368
1
原创 inline hook的实现
思路 对于目标运行中的EXE程序，如notepad.exe，使用inline hook劫持其kernel32.dll中的writefile函数：找到notepad.exe的进程PID，通过进程PID获取进程模块，通过进程模块获取程序加载的imagebase。在获得imagebase后，就可以像类似分析PE文件一样，先找PE头，然后到可选头，里面读取data directory的第2个成员...
2019-05-07 21:47:09
1179
3
原创 This application failed to start because it could not find or load the Qt platform plugin "windows".
很多时候莫名其妙安装一个软件以后，windows下打不开。比如Spyder重新指定python、或者下载了wireshark，或者是浏览器扩展的下载软件等等等等，网上找到的解决方案甚至说要下载QT的。。。错误描述This application failed to start because it could not find or load the Qt platform plugin “w...
2019-05-05 17:58:25
3840
3
原创 利用Shellcode注入PE文件加载计算器
文章目录简介C语言版shellcode汇编版shellcodeshellcode跳转到原入口地址代码编写思路源代码简介采用C语言查看和修改一些PE文件的关键结构，结合shellcode，完成功能：先用C语言编写通过LoadLibrary()和GetProcAddress()调用msvcrt.dll中的system()函数来弹出计算器的代码。在OllyDbg中打开该程序，查看对应的汇编代码和...
2019-04-16 21:37:51
3241
原创 修改PE文件引入表实现加载DLL
文章目录内容简介DLL结构DLL的编译链接（VS命令行中）DLL的加载使用的DLL源代码PE文件关键结构MZ头NT映像头可选头部引入表IDT、INT、IAT关系代码实现思路关键数据结构节表IDT项验证结果内容简介编写Func.dll，并编写一个EXE程序，该程序能够加载Func.dll，并调用Func.dll中的导出函数，在加载Func.dll的时候，会弹出计算器calc.exe。使用PE...
2019-04-08 09:10:41
3410
7
原创 C语言读取FAT32分区文件簇链
文章目录FAT32基本结构DBR的结构目录项的结构短目录项的重要字段长目录项重要字段FAT表项解析文件路径(英文路径)源代码验证长文件名/目录名占多个簇后续需要考虑的参考链接FAT32基本结构 FAT32文件系统由4部分构成：DRB和保留扇区，FAT1，FAT2和数据区。其中数据区中有根目录、子目录和数据三部分。DBR的结构 开始的3字节是一个跳转指令，指出引导代码的开始位置，EB...
2019-03-25 21:50:26
7498
17
原创 C语言读取GPT分区信息
最近作业需要读取MBR和GPT磁盘信息，上次读了MRB，这次读GPT文章目录GPT分区结构PMBRGPT HeaderGPT表项源代码结果分析磁盘信息读取PMBR读取GPT Header读取第1个分区表项第2个分区表项第3个分区表项第4个分区表项备份GPT Header备份分区表项GPT分区结构 GPT的分区格式，比MBR的要简明扼要不少。一开始第一扇区是PMBR，格式与MBR相同，但是...
2019-03-10 21:57:50
4800
5
零基础入门多模态学习PPT
2024-12-29
联邦学习之安全聚合SMPC.pptx
2020-02-15
如何使用LLVM在基本块的入口和出口插入代码？
2019-05-25
ubuntu16.04安装SElinux以后无法开机
2018-11-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人