- 博客(71)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 按照指定的文件顺序进行scp传输
scp 默认传输顺序是按照文件名进行排序的， 但我当前工作中遇到要验证两台机器的神经网络层的精度，需要把网络层的输入输出（假设有100层， 一共64G) 从机器1传输到机器2 ， 然后进行对比；这种情况下最好按照自定义的网络层的顺序进行传输， 因为这样就算中途scp传输失败，还能验证网络前面几个层的精度（数据量太大一般深夜无人的时候传输，谁都不能保证会出啥事）
2023-08-09 15:14:03
467
原创 训练GLM大模型
训练GLM， 第一次会花比较长时间解析数据集， 大概30mins后报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x80 in position 0: invalid start byte。
2023-05-10 11:59:51
748
原创 Dreambooth让你的狗子环游世界
Dreambooth设计了一个loss function, 让我们可以用少量自己的图像对Stable Diffusion大模型进行微调(finetune)， 来得到个性化的图片；DreamBooth 的工作方式如下：收集大约 10-20 张特定主体（例如您的狗）的输入图像，并定义一个唯一标识符 [V]，它代指的即是您输入的主体。该标识符通常是一些像 flffydog 这样的虚构词，在推理时它会被植入不同的文本提示中来将主体置于不同的上下文中。
2023-03-25 17:30:35
328
原创 分布式深度梯度压缩DGC
这篇论文（“Deep Gradient Compression”）发现了分布式SGD中有99.9%的梯度交换都是冗余的，提出了深度梯度压缩用来减少通信带宽，同时保证了训练的精度。这里blog主要探讨该论文用的方法，以及这方法为什么work；PS： song han老师的新作还实现了在单片机256KB上训练神经网络！这实验室在这领域真是天花板一样的存在。
2023-03-25 12:08:29
295
原创 英伟达tensor模型加速原理浅析
为什么可以加速：假设底下的输入input size = (250,250,3)， 优化前三个1。1.为什么BN-folding可以加速？：bn融合到 conv中， 节省了一个计算量；水平拼接后就只要调用一次CBR了， 还是减少函数调用的目的。1卷积需要调用三次CBR函数；
2023-03-14 18:13:22
234
原创 用Pandas对不同采集周期的数据进行拼接（resample+merge）
我有两份数据， 一份是服务器功率（采集周期为15s采集一次） , 一份是服务器的cpu利用率(采集周期为1分钟）；现需要把两份数据按照服务器的sn拼接在同一个 df中。过程中遇到的难点主要是时间戳转换， 时间对齐；具体方法如下：Pandas resample把时间戳变为相同的采集间隔，然后根据时间戳进行merge拼接。resample+merge代码。
2022-10-20 17:14:49
725
原创 python unittest上手
前言官方文档地址：https://docs.python.org/zh-cn/3/library/unittest.mock.html#patch-object但我觉着官方文档写得挺烂的， 给的demo并不能直接跑起来, 如下的SomeClass还是自己实现一遍； 所以本着拿来即用的法则， 这篇文章会给出几个开发中遇到的情形以及对应的测试用例代码；mock类中的成员函数class Calclator(object): def __init__(self, name):
2022-04-08 11:42:00
541
原创 JAVA webflux(reactor)+openapi自动代码生成
前言如题，因为项目需要， 先分别做一个简单的上手； 然后组合webflux+openapi-generator， 组合失败了，gen出来的代码不是webflux代码(暂时来说这组合不太主流，上手成本比较高 )。webflux+reactive mongo参考链接：https://blog.youkuaiyun.com/get_set/article/details/79480233;但是这博文中pom 依赖有点旧了；github找了另一个demo https://github.com/callicoder/s
2022-02-22 21:01:38
1090
原创 Computer vision玩转游戏--kick-ya-chop
这里写自定义目录标题运行环境项目来源代码运行环境surface电脑kick-ya-chop是一个网页端的flash游戏项目来源虽然作者在油管上讲的是cv自动采摘农场的作物， 但实际给出的代码只有这个空手道的小游戏(https://www.addictinggames.com/clicker/kick-ya-chop)代码import keyboardimport mssimport cv2import numpyfrom time import time, sleepimport p
2021-12-08 18:32:18
480
原创 十年间学习模式的转变（反思应试教育的学习模式）
高中以前高中时我其实不太喜欢跟同学(平)讲题， 因为每次他都会给出一些奇奇怪怪的为什么要这么做， 为什么不那样做的问题， 当时觉得他提的问题对解题没有帮助， 所以不愿意深入探讨。这或许就是应试考试的弊端。大学到了大学， 在学某一项技术时，为了赶进度（就像赶着完成作业一样）， 遇到一些不会的问题：1.会自己强行解释， 事后又没有复盘问题。2.其实也不太敢提出太多问题，怕提出的问题悬而未决， 给自己带来痛苦。（我学的是跟电气专业不太相关的软件，这可能也跟我本科阶段缺少同行者有关。）研究生等到研究生
2021-07-31 12:00:00
189
4
原创 前端初体验
前言接到一个需求就是前端点击按钮，页面显示本地文件夹中最新的60张图片。之前没怎么接触前端的编程语言， 借此机会体验一下； 顺便实践一下在陌生编程环境下如何学习跟适应。期间通过W3school, 菜鸟教程学习了很多前端(HTML , javascript, IQuery 的$ajax, DOM的 document.write)，服务器(nodejs)相关的技术问题以及解决方案问题：JavaScript 基于安全的考虑，是不允许直接操作本地文件的解决：搭建一个nodejs服务器， 用于遍历本地文件
2021-07-13 22:20:02
176
原创 ubuntu16.04 登陆界面无限循环
前言之前训练VIT时电脑爆内存卡住了， 所以我直接强行重启电脑， 结果就GG, 出现了登陆界面输入密码后无限循环的问题。以我多年的经验， 明显就是显卡驱动挂了（我一个星期前刚刚装好的驱动， 心痛ing)解决直接重装显卡驱动。步骤：1)按键按下Crtl+Alt+F1进入终端, 登录账号2)sudo service lightdm stop3）由于我把驱动文件放在外置硬盘， 所以需要手动挂载（读者可以直接cd到驱动所在的目录）sudo mkdir /media/ezio/test &&
2021-06-26 17:43:15
1253
原创 手机传送文字/文件到电脑
以前习惯于用微信传输，不厌其烦。现在使用onedrive（传送文件） + onenote（传送文字）， 感觉方便很多。如果大家有更方便的方案也不妨分享一下
2021-06-18 11:09:34
1427
原创 疫情下的归家之路
前言本来想着打了疫苗是否可以减少隔离时间。 但是很不巧广东疫情起伏， 所以从香港入境隔离还是14+7过程出关前准备1.1 核酸检测报告（返程前一天做检测， 费用是240HKD)以我为例， 做检测是21.0610下午13点， 拿到检测报告时间是21.0611上午10点30，而深圳湾的通关时间是10:00- 22:00, 也就是说必须在21.0611这一天出关1.2 预约健康驿站我是提前一个星期预约了21.0611的健康驿站1.3 指尖海关申报使用微信 指尖海关填报入境信息题外话： 我是
2021-06-15 17:52:08
399
6
原创 numpy 二维数组， 已知index，批量取值
前言示例代码如下，numpy官网有介绍反思：项目遇到的小问题， 一开始不知道怎么做，上网找了许久未解决。这种numpy操作问题应该先看numpy basic 介绍， 看基础操作中是否有你要的功能。 推荐查阅书籍：《Python for Data Analysis》官网：https://numpy.org/doc/stable/user/basics.htmlimport numpy as nppairs = np.array([[0,1],[0,2],[0,3]])# print(pai
2021-05-28 17:18:42
2004
原创 人脸聚类论文--Clustering Millions of Faces by Identity(Approximate rank-order clustering)
RT
2021-05-24 11:05:31
738
原创 空间滤波器（Spatial Filter）的应用
相信很多初学CV的小伙伴都会接触到opencv的例程，里面出现频率最高的就是Gaussian filter. 有时会好奇， 为什么要用？ 不用行不行？下面具体看看1. 图像放大（上采样）香农采样定理，采样率至少要>2f, 否则就会出现失真假设如图有一个周期固定的信号采样率是表示每秒钟采集多少个样本点，假设图中的信号周期为1s, 每个周期采样点至少为3个而在图像处理中，我们只能降低图像信号的最高信号频率， 所以使用一阶高斯算子去掉高频信号（直观就是锐利的边缘被滤掉了，所以相对应的显得比较模糊
2021-05-05 17:37:47
4074
原创 机器视觉算法与应用--测量锯齿的角度
首先进行图像的预处理这里我没有课本上的图， 所以自己画了一个三角。好的预处理完成[手动狗头]直线拟合minLineLength = 120maxLineGap = 100threshold =200lines = cv2.HoughLinesP(img_poly,1,np.pi/180,threshold, minLineLength, maxLineGap)print("this is len",len(lines))识别出了7段直线。 7段!!!, 从图中可以看到很多直线都重叠
2021-05-05 15:55:20
580
原创 机器视觉算法与应用--序列号读取
前言案例来源于<<机器视觉算法与应用>>最后一章本节的目的就是识别光盘的背面的品番（别想歪），使用python+ opencv实现截取序列号所在的圆环想法很简单，圆形拟合，使用序列号上边缘的圆减去下边缘的圆得到圆环二话不说直接上HoughCirle, 万万没想到就翻车了。上网一查才发现cv2Gradient会找出一个最大可能的圆心， 也就是只能拟合一个最佳的圆， 所以想用它来拟合同心圆是不可能的。极坐标变换有个问题， 就是坐标变换后， 数字有可能图像显示上不连贯截
2021-05-05 15:52:33
449
1
原创 人脸聚类论文--Consensus-Driven Propagation in Massive Unlabeled Data for Face Recognition(CDP))
前言这其实是我读的第一篇关于人脸聚类的论文， 但是读完后没有做提炼总结。 自己后面是实现了一个人脸聚类的idea， 自以为创新，但是之后发现跟这篇文章的做法是一样，相当于做了重复实验。 因此记录， 注意该文只是一个提炼的原理介绍， 具体模块细节请参照原文原理网络架构总体来说（从完全监督的角度）， 就是训练n+1不同的backbone 的特征提取器(对应图中的Base Model, Committee#1, …Committee#n)，然后建立n+1副 knn-graph, 然后mediator对这
2021-04-22 10:48:44
783
1
原创 Object detection考古
前言 记录一下今天学习的RCNN发展历程(RCNN -> FastRCNN)，CV算法日新月异，所以称之"考古"。 建议初学者直接从Faster RCNN开始1. RCNN解释：给入一张图片， 先使用selective search得到region proposal（即可能存在物体的区域）， 然后将这些regoins一个个输入CNN网络进行分类预测以及Boundingbox (简称BB)回归预测. 两个分支的介绍如下。Classfication:目的：学习每个预测框的类别输入：Pool5
2021-02-03 12:13:02
209
原创 图像检索初探Image Retrieval using Pytorch
实现思路建立数据库图像以及检索图像数据集， 使用cnn输出作为图像的特征；然后使用直接遍历或者LSH搜索出检索图片的top5近邻图像致谢：该项目参考了代码项目代码:github实现细节数据集建议选用 Catch101, 而非cifar10特征选择：GMP vs fc？CNN我选用了VGG16, 但是最后一层的特征输出应该如何选择？GMP：Global maxpooling layer, 会将77512转为11512，即512D的特征向量fc: full connected lay
2021-01-01 13:07:11
1385
2
原创 数据挖掘的课程作业
git仓库1. Use two visualization techniques针对给定的数据， 结合其特性选择两个visualize的方法， 并说说从数据中找到了什么规律2. Decision tree不调用其他库函数，自行实现decision tree3. Naive bayes classifier自行实现NBC, 要求：给定数据（包含离散变量， 连续变量）， 对连续变量使用两种方式求其条件概率NBC 问题简述：根据 bayes rule:P(Y∣X1,X2,X3)=P(X1,X
2020-12-30 20:12:47
343
原创 疫情下的求学之路
9月8号在家歇了一个月后终于决定前往疫情尚未解决的香港。下午4点到达深圳湾发现，人山人海都是小学生。-_-拍了拍头，（只怪自己没算对日子） 拉着两大行李箱住了一晚酒店。9月9号人少。 果然成功的避开小学生。过关步骤以及建议首先是微信填写大陆这边的指尖海关。 很方便下载居家抗疫app. 现场wifi网速很差。 建议准备香港电话卡/提前翻墙下载。 (PS， 我在下不动的时候， 被一个工作人员小姐姐强行插入了，别想歪， 插了一个type-c U盘到我的手机帮我安装)填写香港的申报表 ， 前面
2020-12-30 20:06:36
228
1
原创 Tcp send阻塞问题
原因如果发送缓存大小比请求发送的大小要大,那么send函数立即返回,同时向网络中发送数据;否则,send会等待接收端对之前发送数据的确认,以便腾出缓存空间容纳新的待发送数据解决方法：参考链接步骤:1)修改接收端，发送端的系统缓冲区大小echo 10000000 > /proc/sys/net/core/wmem_maxecho 10000000 > /proc/sys/net/core/rmem_max2)设置socket buffer的大小接收端代码（发送端也是类似，我这里
2020-07-17 13:30:34
1845
原创 TCP recv(MSG_WAITALL)阻塞式接收问题记录
MSG_WAITALL说明在recv中，可以使用MSG_WAITALL标志保证要求读取的字节数。即使使用了MSG_WAITALL标志，如果发生了下列情况：(a)捕获一个信号(b)连接被终止，或©在套接口上发生错误，这个函数返回的字节数仍会比请求的少。场景：设置的接收buffer小于指定的接收size实例代码#define MAX_BUFF_SIZE 262144０BYTE* pbyBuffer = (BYTE *) malloc(MAX_BUFF_SIZE);int recv_size =0;
2020-07-17 11:56:59
2696
原创 海思IVE算法原理解析一--遮挡检测(occlusion deection)
前言这个算法就是满足摄像头遮挡报警这个功能需求代码分析0xfffffffLL是个长整形， 如果你也好奇这个写法的话。流程创建灰度图像的积分图计算任务算出图像灰度值的平均值，均方差，u, v再拿u,v计算不相似度。不相似度>50%认为 有遮挡不相似度的计算标准：输入图像灰度值的平均值 >80(为什么是写死的值？？？)， 不相似度+1总结鸡肋， 误判率应该挺高的还不如像手机一样加传感器...
2020-06-30 08:35:22
5771
原创 海思Hi3519AV100sensor移植之一-- imx307
1. 驱动修改， 基于imx291的驱动(imx291_sensor_ctl.c )进行修改， 遵循imx307数据手册修改寄存器即可。（因为imx307与imx291型号差距不大，初始化序列可以参考imx291）2. 按照《sensor调试指南》修改文件，主要集中在sample_comm_vi.c ,sample_comm_isp.c下面为驱动程序分析原文件为sample_comm...
2020-06-08 16:13:22
5415
4
原创 海思Hi3519AV100sensor移植之二-- imx586 sensor
请先下载文档sensor 移植指南，以及imx586规格书。
2020-06-08 16:12:44
7917
12
sony_imx586_test.zip
2020-07-03
yolo3实现车牌定位训练数据集
2020-06-19
（修改）+英文成绩单办理流程20190902-挂网.doc
2020-01-15
IMX290LQR-C_TechnicalDatasheet_E_Rev0.4.0.rar
2019-10-30
starterwarefree-code-a2422cfca591f7ae2081e618c8c22dabaa496e5a.tar.gz
2019-05-24
AM5728_PRU_UART_WRITE
2019-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人