- 博客(224)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 大模型微调02-使用LLaMA-Factory进行lora微调
数据使用一个医疗诊断数据medical-o1-reasoning-SFT，先把数据转换为LLaMA-Factory支持的Alpaca数据格式,并划分数据集，4060显卡只有8G，这里取2000个样本训练，200个样本验证。在LLaMA-Factory的安装目录下运行如下目录，方便后面选择数据集，比如我的目录为D:\LeStoreDownload\LLaMA-Factory-0.9.2\LLaMA-Factory-0.9.2。因为我们是基于lora训练的，所以训练完成后，要把基座模型和检查点的权重进行合并。
2025-03-19 16:05:11
484
原创 python-cv2:求直线和轮廓的交点
目录1.读取图片,阈值处理2.获取轮廓和BoudingBox3.一条直线3.测试枚举线段点4.完整测试代码实例图片镇楼1.读取图片,阈值处理# 读取图片并灰度值化img = cv2.imread('d:1.jpg', 0)# 二值化,过滤掉噪音img = np.where(img < 100, 0, 255).astype(np.uint8)cv2.imshow('0', img)cv2.waitKey(0)2.获取轮廓和BoudingBoxconts, _ = cv2.fi
2020-11-07 11:56:49
9059
16
原创 ncnn笔记：03)在Andriod上从零开始搭建人脸检测模型retinaface
准备预训练模型文件ncnn官方提供的retinaface的权重及参数文件为mnet.25-opt.bin mnet.25-opt.param下载地址：https://github.com/nihui/ncnn-assets/tree/master/models，但笔者使用该权重在ubuntu上测试ncnn/build/examples会出现如下错误javis@javis-HP-280-Pro-G2-MT:~/soft/ncnn/build/examples$ ./retinaface /tmp
2020-10-16 09:32:45
3260
3
原创 ncnn笔记：02)ncnn之JNI入门初窥
上篇快速介绍了在andriod上搭建深度学习模型，本篇粗略介绍下JNIJNI是Java Native Interface的缩写，它提供了若干的API实现了Java和其他语言的通信（主要是C&C++）.这是百度百科上说的.通俗来说,就是JAVA调用C/C++函数的接口.如果你要想调用C系列的函数,你就必须遵守这样的约定.比如在C:\Users\Javis\Desktop\jni\下有个java文件需调用一个返回值为字符串的C++函数public class NativeDemo { //
2020-10-12 14:33:03
1302
原创 ncnn笔记：01)windows+AndriodStudio在安卓机上快速构建一个深度学习分类模型
1.安装AndriodStudioAndriodStudio-3.5.2下载地址: http://www.android-studio.org若遇到 unable to access android sdk add-on list 点击cancel默认安装即可下载sdk，ndk等组件：File->Settings，sdk的路径默认路径为C:\Users\Javis\AppData\Local\Android\Sdk，勾选如下的组件：...
2020-09-23 21:23:12
2507
7
原创 健康湖北大培训_学习辅助工具
目录核心功能题库学习答题提示BlueStacks蓝叠 + autojs4.1.1.apk核心功能自动学习题库答题信息提示题库学习答题提示
2020-09-21 08:30:02
616
2
原创 人脸识别：01)快速搭建一个人脸门禁打卡系统，支持戴口罩识别
前言本系统基于SSD模型和dlib库，SSD模型用于人脸检测，dlib用户人脸识别人脸检测人脸检测：找到图片中人脸的位置，并用方框标出dlib已经提供了完整的人脸识别API，但dlib提供的2个人脸检测模型存在如下2个问题get_frontal_face_detectorget_frontal_face_detector基于机器学习，速度快但是准确度不高，有时离摄像头较远或戴口罩，会检测不到人脸detector = dlib.get_frontal_face_detector()cnn_f
2020-08-17 11:16:13
3894
19
原创 YOLOV4:从零开始安装&训练自己的数据集
CUDA安装具体可以参考博文Centos7离线安装nvidia驱动的两种方法，推荐使用方法2，编译时需要ncvv,因此最后添加下面环境变量到~/.bashrcCUDA_HOME=/usr/local/cudaexport PATH=$CUDA_HOME/bin:$PATHopencv安装
2020-05-20 16:40:43
7999
25
原创 YOLOV4：opencv4编译问题
系统环境： Centos7 opencv-2.4.5(yum installed)问题1：LIBTIFF_4.0错误undefined reference to TIFFRGBAImageOK@LIBTIFF_4.0' /usr/lib/x86_64-linux-gnu/libopencv_highgui.so: undefined reference to TIFFReadRGBAStrip@LIBTIFF_4.0'这个问题是因为我安装了ancoda，其安装的opencv和系统安装的lib
2020-05-18 11:04:51
2530
原创 pytorch笔记：14)从零开始玩转目标检测模型CenterNet
目录前言模型搭建数据集构建1.数据初始化2.生成高斯HeatMap损失函数关键点FocalLossRegressionLoss模型测试前言“真正的东西，是朴素的，也是优雅的”，这句话用来形容CentNet绝不为过。笔者参考论文和官方源码，去繁就简，模型搭建模型结构：resnet18+上采样+3个header输出在__init__()函数中添加了如下6行代码，self.layer5至sel...
2020-04-25 21:35:22
4887
5
原创 pytorch笔记：13)SSD源码中anchor和bbox配对
https://github.com/amdegroot/ssd.pytorch#layers\box_utils.pydef match(threshold, truths, priors, variances, labels, loc_t, conf_t, idx): """Match each prior box with the ground truth box of the ...
2020-04-23 11:06:11
1104
原创 pytorch笔记：12)TVM-Pytorch模型编译体验+性能测试
实验环境：18.04.1-Ubuntu SMP Mon Feb 3 14:05:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linuxtvm-0.7.dev1torch-1.4.0torchvision-0.5.0tvm安装文档，官网推荐使用torch不小于1.3.0pytorch模型导出使用torchvision自带的resnet18进行实验测试i...
2020-04-15 10:21:23
4188
原创 kudu-python1.4.0 编译安装
为什么不使用kudu1.11.0? 不想折腾呗1>从git下载源码包 kudu1.4.02>解压，进入到kudu-1.4.0/python目录运行安装命令sudo python setup.py install3>导包测试会发现如下错误>>> import kuduTraceback (most recent call last): File ...
2019-11-18 16:14:19
667
原创 pytorch笔记：11) 多标签多分类中损失函数选择及样本不均衡问题
来了一个kmer1.首先确认其prefix_array-> hash2inde即prefix转换为int类型，在通过map找到对应的array_index. prefix array index要保存在中2.已知prefix array index,如何在data_array中定位，首先需要一个数组，里面保存了prefix array index对应数组的大小，比如第0个index对应后...
2019-09-23 20:06:16
14576
2
原创 vtt字幕格式转srt格式 [python]
工欲善其事：：srt字幕格式，每个字幕段有四部分构成：字幕序号字幕显示的起始时间字幕内容（可多行）空白行（表示本字幕段的结束）下面是一个栗子：100:00:04.430 --> 00:00:07.410Okay. Hello everyone.200:00:07.410 --> 00:00:11.265[LAUGHTER] Okay we should g...
2019-08-21 23:12:51
2686
原创 pytorch笔记：10) 源代码跟读 On the Automatic Generation of Medical Imaging Reports
论文地址：https://arxiv.org/pdf/1711.08195.pdfgithub地址：https://github.com/ZexinYan/Medical-Report-Generation模型框架图：模型简介给定一张CT图片，使用CNN对其进行多标签分类，模型最后一层输出(1维向量)作为Visual Features(VF),对分类结果取概率最大k个类别索引(topk)...
2019-08-13 16:03:20
1508
7
原创 Kettle：webservice接口数据转存到数据库
(1)定义webservice的接口，添加URL和操作的方法即可(2)声明webservice接口的参数，PAT_NO是上游传递过来的参数名对应WS中的参数req，输出可直接选择默认的。(3)解析xml。经过web服务器查询后，会获得多条xml字符串语句，这里使用组件“get data from xml”进行转换。单击获取XML文档的路径，把你获取的到xml格式复制进去(可以断点运行w...
2019-03-13 10:06:54
4762
原创 Kettle：查询结果传递以&相关子查询
场景需求：源数据库表A和B，目标数据库表C，需要根据表A符合条件的ID去查询表B的记录，最后把结果放入到表C(表C和表B的字段完全一致）Kettle的需求：根据前一个表的查询结果去查询另一个表（1）从A表中筛选出符合条件的id(2)获取上个A表的结果集合，让B表进行查询，这里主要几点：勾选替换SQL语句中的变量(sql语句使用了‘?’替换步骤1的查询到的id)指定从步骤插入数据勾...
2019-03-12 11:12:10
5209
原创 pytorch笔记：09)RNN和Transform中的Attention机制
原博客是哈佛大学NLP研究组，根据论文“Attention is All You Need” 使用pytorch实现，撰写得非常精彩，强烈推荐。下面是几个笔者阅读时困惑的地方，记录下来以防忘记。原文中给的一个简单的栗子，给定一个序列，模拟生成同一的序列。We can begin by trying out a simple copy-task. Given a random set of i...
2019-01-11 14:40:22
20658
7
原创 使用cuda编译maskrcnn detectron等问题小结
struct std::is_convertible’ struct is_convertible error: command '/usr/local/cuda/bin/nvcc' failed with exit status 1The latest gcc version supported with CUDA 9.1 is 6.3.0, it loo...
2018-12-26 15:51:20
893
原创 在线使用Python通过染色体id+位置查询基因名列表
前话：使用pyensembl可对hg38进行本地查询，但发现若查询其他的数据库比如hg19,得重新下载对应的数据文件。查看文献发现，UCSC提供了一个丰富的mysql数据库供我们在线查询各种生物的信息(其中就包括hg19和hg38).UCSC提供的mysql连接字符串(需安装mysql客服端,其中-A=不预加载数据库)mysql --user=genome --host=genome-mys...
2018-12-09 10:06:49
5801
6
原创 本地使用Python通过染色体id+位置查询基因名列表
简介通常使用bwa做mapping后会获得sam文件，而sam文件包含2个重要的字段：该序列mapping上的染色体id和位置(比如第2列(chr5)和第3列(36345037))KMER_44 0 chr5 36345037 37 7M1D24M * 0 0 CTGATGCAAAAAAAAAAAAGCTTTTTTG...
2018-10-18 16:00:11
5025
2
原创 pytorch笔记：08)使用LSTM写古诗词
测试环境： centos7 + python3.6 + pytorch0.4 +cuda9下面是用模型生成的藏头诗(深度学习)深宫昔时见，古貌多自有。度日不相容，年年生一目。学者若为霖，百姓贻忧厄。习坎与天聪，优游宁敢屡。训练数据 57580首诗歌，每首诗歌，书(pytorch入门与实践)的作者对其进行了预处理，每首诗歌长度125字符(不足补空格，超过则丢弃) 下面da...
2018-07-11 16:39:04
6634
10
原创 pytorch笔记：07)LSTM详解及实现一个朴素LSTM
LSTM的介绍博文：https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 官方AIP：https://pytorch.org/docs/stable/nn.html?#torch.nn.LSTM一个栗子，假如我们输入有3个句子，每个句子都由5个单词组成，而每个单词用10维的词向量表示，则seq_len=5, batch=3, i...
2018-06-22 14:44:06
5357
3
原创 pytorch笔记：06)requires_grad和volatile
requires_grad Variable变量的requires_grad的属性默认为False,若一个节点requires_grad被设置为True，那么所有依赖它的节点的requires_grad都为True。x=Variable(torch.ones(1))w=Variable(torch.ones(1),requires_grad=True)y=x*wx.requires...
2018-06-12 16:27:47
14885
8
原创 mask_rcnn keras源码跟读3）配置文件
config.py文件，参数配置一个一个地看# NUMBER OF GPUs to use. For CPU training, use 1GPU_COUNT = 1# Number of images to train with on each GPU. A 12GB GPU can typically# handle 2 images of 1024x1024px.# Adju...
2018-06-05 19:25:26
3350
23
原创 mask_rcnn keras源码跟读2）数据部分
数据生成部分主要用了keras_model.fit_generator借口，具体函数在model.py的1626函数，其函数说明如下：def data_generator(dataset, config, shuffle=True, augment=False, augmentation=None, random_rois=0, batch_size=1,...
2018-05-30 17:02:10
5379
原创 mask_rcnn keras源码跟读1）模型搭建
基础知识：faster_rcnn相关内容,mask_rcnn相关内容 源码git:https://github.com/matterport/Mask_RCNN/tree/v2.11.模型搭建 主要在类MaskRCNN的build方法内1model.py_row1673，获取所有的anchors，config.IMAGE_SHAPE是参与训练的图片大小， compute_back...
2018-05-24 11:24:17
6664
10
原创 pytorch笔记：05)UNet网络简单实现
语义分割的相关介绍可参考该博客： https://blog.youkuaiyun.com/u012931582/article/details/70314859代码参考图1设计，黑色加粗的标注是笔者添加的，和代码中的变量对应 图1 Unet U-Net代码，实现比较简单，可以参考上面的图片import torch.nn as nnimport torchfrom torch im...
2018-05-08 08:38:28
36657
160
原创 BWA0.7+Samtools1.5+GATK4.0在大数据集上的试验
试验数据 fasta:hg38.fa文件可以在UCSC下载 (hg38.fa.gz 938M) fastq非公开文件KY18011403DNA_DHG18153-V_AHHVVHCCXY_L7_1.fq 35GKY18011403DNA_DHG18153-V_AHHVVHCCXY_L7_2.fq 35GKY18011403DNA_DHG18153-V_AHHVVHC...
2018-03-21 08:42:45
2321
原创 pytorch笔记：04)resnet网络&解决输入图像大小问题
因为torchvision对resnet18-resnet152进行了封装实现，因而想跟踪下源码(^▽^)首先看张核心的resnet层次结构图(图1)，它诠释了resnet18-152是如何搭建的，其中resnet18和resnet34结构类似，而resnet50-resnet152结构类似。下面先看resnet18的源码 图1resnet18 首先是models.resnet18...
2018-03-20 08:10:07
77265
59
原创 pytorch笔记：03)softmax和log_softmax，以及CrossEntropyLoss
softmax在神经网络里面比较常见，简而言之，就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pytorch里面发现额外有个log_softmax(对softmax取了一个In的对数)，为啥这样做呢？ ...
2018-03-19 10:03:18
19788
5
原创 pytorch笔记02)模型的保存和加载
保存和加载整个模型torch.save(model_object, 'model.pkl')model = torch.load('model.pkl')仅保存和加载模型参数(推荐使用,需要提前手动构建模型)torch.save(model_object.state_dict(), 'params.pkl')model_object.load_state_dict(torch.lo
2018-03-16 16:51:09
8689
7
原创 pytorch笔记01)初体验
import torchfrom torch.autograd import Variableimport torch.nn.functional as funcimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)y = x.pow(2) + .3 * torch.ra
2018-03-16 10:21:20
613
原创 BWA0.7+Samtools1.5+GATK4.0在小数据集上的试验
试验数据 chr14_1.fastq chr14_2.fastq (1.47G each one .gz) chr14.fasta (28M .gz) chr14.fastq文件可以在GAGE下载 chr14.fasta文件可以在UCSC下载软件的版本： bwa-0.7.17 gatk-4.0.2.1 samtools-1.5 试验过程1.生成索引文件bwa i...
2018-03-13 15:03:30
3461
原创 keras：5)fit_generator
1.fit_generator fit_generator函数参数描述可以参看官方文档，这里说下比较常用的几个参数： generator: A generator or an instance of Sequence (keras.utils.Sequence) object in order to avoid duplicate data when using multiprocessing.
2018-03-11 13:38:03
6577
原创 Centos7离线安装nvidia驱动的两种方法
1.首先查看机器是否具有GPU[javis@node5 rpm_resource]$ lspci | grep -i nvidia06:00.0 3D controller: NVIDIA Corporation GP100GL (rev a1)81:00.0 3D controller: NVIDIA Corporation GP100GL (rev a1)2.在官网下载对应的...
2018-02-27 20:05:49
22294
11
原创 keras：4)LSTM函数详解
LSTM层keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initial...
2017-08-28 11:53:18
107897
27
Notepad++ ftp/sftp 插件
2017-11-07
keras的demo数据-imdb.npz
2017-09-05
解决Centos6.7：-bash: ./DrClientLinux: /lib/ld-linux.so.2: bad ELF
2015-10-18
C# WInform TreeLiew显示磁盘文件Demo
2015-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人