xcy8185083的博客

原创 llamafactory finetune VLM qwenVL2-7B多模态意图识别

总结：1.对图片使用paddle-OCR生成observation提点不多2.finetuning_type: lora lora_target: all 相比于 finetuning_type: full，即Lora微调相比SFT全调差很多，有资源SFT选SFT吧。3.GUI图片页面分类使用(crop,masaic)等图像增强方式可以提高分类准确率，但后期过拟合了。训练集全预测正确，测试集反而分数降低。

原创 评估量化模型精度损失情况

读取tflite中输入和输出tensor的量化scale zero_point值。

原创 百度图片最多检索结果

2. 设计了一下流程图，没找到哪里可以下滑页面，百度图片不是那种按钮式“下一页”的网页，而是滑条往下滑的网页。1. 是只能输出text么？只能把图片链接保存成csv，不能直接批量下载图片？而且百度图片一个关键词检索出来的数量还是有限的呢，最后还是迅雷的批量下载好用啊。为了爬虫百度图片学了下。

原创 AI模型转换

3.1 NCHWNCHW是先取W方向数据；然后H方向；再C方向；最后N方向。3.2 NHWCNHWC是先取C方向数据；然后W方向；再H方向；最后N方向。

原创 抖3D特效

比如抖音中给猫做特效，由于猫的动作非常快，导致头部跟踪不即时，帧A猫还带了特效帽子，帧B猫也带了，中间时刻的中间帧没带，猫跑酷的时候都跑出残影了，头饰也必定出现闪帧。比如猫弓着屁股的时候，把屁股也识别为猫头了，给猫做的头饰带到了屁股上🙂。

原创 CFtoOCT--图生图--模态转换--多模态模型

闲来无事，4090空着也是空着，train了一个竞赛，成绩倒数，作文以记之。

原创 no member named ‘GetInputName‘ in ‘Ort::Session‘

【代码】no member named ‘GetInputName‘ in ‘Ort::Session‘

原创 android-ndk编译cpp文件

运行在 Android 系统上测试，直接编写一个可执行程序在手机上运行，比写一个 APP 是方便和快捷很多的。

原创 解决exception: CUDA error: device-side assert triggered

最后发现是init decode embedding module 的 vocab size 设置错误。此时traceback到的代码位置反而是误导，和这个没关系，需要手动print定位。从log看错误代码是cuda/Indexing.cu 说明是数组越界类的错误。

原创 解决 error: no matching function for call to ‘Ort::Session::Session(Ort::Env&, const wchar_t*的问题

我用的onnx runtime 版本是：onnxruntime-linux-x64-1.11.1。onnxruntime cpp部署出现这个问题，仔细往下翻发现有说详细原因。修改一下字符串类型为char，解决。

原创 DiVAE

为什么我训练出来的DiVAE model生成的图片一是质量不稳定二是很容易出现白色的弥漫性大面积涂抹噪声。case1：这是效果比较好的，从左至右依次是epoch299 epoch399 预训练权重。case2:这是效果比较差的，最右是预训练权重。在CF fundus图像上，那更是稳定的差。

原创 AI算法副业从开始到懈怠

像塑里面也有AI的功能，可以用他的“光影重塑”等模型，选择“主体风格化”/“背景风格化”来融合效果和人像，但这个的问题是，首先像塑的模型生成速度真的太慢了，一天不断的点生图也生不了几张，第二就是基模实在太差了，生图的质量和Midjourney完全没法比。刚好特效也比较短，讲故事，时间就比较长了，还生成不了这样自主生成，给个开头无限幻想下去，无限发展下去的连贯故事。虽然特效似的AI短剧热度较高，但我想还是有调整的，如何调整就看特效师手艺了，毕竟AI只能给个初稿，接下来怎么调，如何画龙点睛才是神韵。

原创 AOI算法

就是指分析和处理图像的颜色，主要是通关图像的色彩分布和色彩特征来进行检测和判断，主要包括色彩抽取算法，波峰焊产检算法、红胶分析算法、孔洞缝隙算法等。定位，波峰焊中的插件变化大，常规的定位方式不适合插件的定位，所以CREST的定位算法，为特色的定位的方式。常用的一种有效的检测算法，几乎所有的检测都可用到该算法，该算法就是利用OK样本的累计学习和色彩对比来进行检测和判断。是指亮度缝隙和拥挤算法，该算法包括最大值算法、最小值算法、亮度跨度算法、均值算法和亮度抽取算法。对于空焊焊的检测采用的算法为“TOC 算法”

原创 工业视觉AOI

原创 抠图算法bad case

抠图

原创 SD prompt generator

大模型，文生图

原创 Ubuntu 22.04 opencv gpu cuda 编译及测试

安装前一定要确认这四个的版本匹配。

原创 Android开发常用缩写

celisca Center for Life Science AutomationIDE Integrated Development EnvironmentSDK Software Development KitJDK Java Development KitAPI Application Programming InterfaceAVDs Android Virtual DevicesHTTP Hypertext Transfer ProtocolOS Operating

原创 用到的Android studio依赖库

SuperpoweredAudio Digital Signal Processing for Mobile and Wearable Devices. ... Superpowered Cryptographics Library & SDK ... Android's 10 Millisecond Problem.MPAndroidChart折线图（可用来画信号）、饼状图、等等图表implementation 'com.github.PhilJay:MPAndroidCha

原创 使用MediaStore拍照

一开始不传ImageUri，但使用得不到bitmap，结果为nullpublic void takePhotoFromCamera(View v) { Intent cameraIntent = new Intent(android.provider.MediaStore.ACTION_IMAGE_CAPTURE); startActivityForResult(cameraIntent, CAMERA); }public void onActivityRes