Kaggle-图像常用知识与技巧
关注
分享
扫一扫
微电子学与固体电子学-俞驰
如切如磋，如琢如磨，臻于至善。
展开
-
获取png格式的MNIST数据集
# 原始数据来自：# https://github.com/myleott/mnist_png# 但是这个数据的放置效果是这样的:显然不好用．于是进行转化，目标是所有图片都放在一起，然后生成一个"图片和类别名字对应"的train.csv这样，MNIST数据格式就和kaggle比赛中的一致了．新建一个origin文件夹，把train中上述所有文件夹剪切放入origin然后...原创 2019-11-16 21:08:52 · 1397 阅读 · 0 评论 -
Understanding Clouds from Satellite Images语义分割比赛中train_test_split与stratify配合使用
用法来自:https://www.kaggle.com/mobassir/keras-efficientnetb2-for-classifying-cloud数据集中每张图片可能包含1种云朵到4种云朵不等。比赛要求返回rle格式的submission.csv其中数据集分割代码如下:train_imgs, val_imgs = train_test_split(t...原创 2019-11-11 18:47:42 · 750 阅读 · 0 评论 -
Understanding Clouds from Satellite Images的kernel调研＋肉眼识别每种云朵示例
pupil1视角，凡是看过的全部进行upvote作为标记kernel 注释 框架 输出模型格式 EDA: Find Me In The Clouds 非常赞的可视化（博文下方列出其主要内容） Strange Single Pixel Holes in Masks mask中有一些黑点（不重要） Effici...原创 2019-11-09 12:26:55 · 848 阅读 · 0 评论 -
安装apex报错解决
完整报错如下：(keras_224) linux@linux-System:~/File/hyh/pycharm_code/cloud/apex$ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" .//home/linux/.conda/envs/kera...原创 2019-11-08 20:38:28 · 21568 阅读 · 14 评论 -
tesra平台安装apex库
代码如下:import subprocesscommand="apt install -y git"res = subprocess.call(command, shell=True)command='''git clone https://github.com/NVIDIA/apex && cd apex && pip install -v --no...原创 2019-11-08 19:38:35 · 387 阅读 · 0 评论 -
linux下使用sed批量替换关键词(带斜杠处理＋kaggle路径批量替换)
source string:/kaggle/inputdestinationstring:~/File/hyh/data命令如下：sed -i "s#/kaggle/input#~/File/hyh/data#g" `grep -rl /kaggle/input ./`意思是找出所有带有关键词"/kaggle/input"的文件，然后将这些文件中的"/kaggle/input"替...原创 2019-11-08 16:45:09 · 1437 阅读 · 0 评论 -
tesra内测阶段在线GPU的使用
官网是：https://www.tesra.org注册个账号即可＃＃＃＃＃＃＃＃＃＃＃＃＃＃算力券兑换＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃内测阶段可以跟客服QQ要算力券，然后点击财务管理输入客服ｍｍ给你的算礼券，然后点击确定即可兑换。＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃使用该平台跑一个hello world＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃...原创 2019-11-08 16:08:24 · 329 阅读 · 0 评论 -
对mask进行rle编码然后进行解码-详细注释
代码来自:https://www.kaggle.com/artgor/segmentation-in-pytorch-using-convenient-tools代码如下import numpy as np# 进行mask存储,rle一种压缩存储方式# 还有一种是polygon(多边形)# 这个函数是对mask进行rle编码,所以输入的值非0即1import nump...转载 2019-11-06 16:58:43 · 5220 阅读 · 4 评论 -
Understanding Clouds from Satellite Images比赛的discussion调研与colab数据集下载配置
colab数据集下载配置代码：%%time!pip install -U -q kaggle!mkdir -p ~/.kaggle !echo '{"username":"pupil1","key":"ae776d041bf94ae1bfa9a3843797ad6d"}' > ~/.kaggle/kaggle.json !chmod 600 ~/.kaggle/kag...原创 2019-11-04 23:24:51 · 632 阅读 · 0 评论 -
kaggle的图像数据集直接下载到google drive
命令如下：!wget"这里是download all的下载链接"-P/content/drive/My\Drive/RSNA_extract原创 2019-11-03 23:24:29 · 1557 阅读 · 1 评论 -
命令行打开图片
kaggle比赛中有的时候图片有几十万张。这个时候如果去图片所在目录下的话，文件管理器就会缓冲不开。那也就无从进行双击图片然后打开看啥效果的操作了:这时可以采用命令行的方式：kolourpaint dog.549.jpg...原创 2019-11-03 16:25:47 · 553 阅读 · 0 评论 -
深度学习没有GPU怎么办？
方案内容 缺点 方案一 买矿卡 P106-100,闲鱼上不写运费的都是默认顺丰到付,我试了下,已经起纠纷了. 矿卡损耗极大,买这个基本接盘,现在还在和卖家磨嘴皮子退货 方案二 尝试kaggle notebook训练中途把模型传到git lfs,因为是大型文件,所以不能github,只能是git lfs git的机制是会记录历史数据,然后git lfs...原创 2019-11-01 16:08:22 · 4212 阅读 · 1 评论 -
Severstal: Steel Defect Detection比赛的discussion调研
特征匹配https://zhuanlan.zhihu.com/p/52140541https://www.kaggle.com/c/severstal-steel-defect-detection/discussion/108078#latest-621878ensemble技巧https://www.kaggle.com/c/severstal-steel-defect-detect...转载 2019-11-01 14:24:25 · 1740 阅读 · 0 评论 -
肺癌图片识别相关的资料调研
用CNN识别CT图像检测肺癌https://blog.youkuaiyun.com/u013058162/article/details/79987363Kaggle百万美元大赛优胜者：如何用CNN识别CT图像检测肺癌？https://www.sohu.com/a/138840776_610300机器分类模型在肺癌病例中的比较研究https://blog.youkuaiyun.com/c1z2w34...转载 2019-11-01 14:44:42 · 898 阅读 · 0 评论 -
kaggle notebook中免密码进行push
下面的都是都是kaggle notebook中运行的。运行下面的代码：!rm -r /kaggle/working/RSNA_MODEL!git clone https://github.com/appleyuchi/RSNA_MODEL!git config --global user.email appleyuchi@163.com!git config --global use...原创 2019-10-27 18:53:03 · 439 阅读 · 1 评论 -
kaggle notebook中使用git lfs
#爲kaggle notebook配置git-lfs!curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash!apt-get install -y --allow-unauthenticated git-lfs# 下面是依賴包!pip install pret...原创 2019-10-26 21:08:01 · 1119 阅读 · 0 评论 -
RSNA待做事项
SE-resnext相关链接:https://github.com/raytroop/RetinaNet_SE-ResNeXthttps://github.com/facebookresearch/ResNeXthttps://github.com/rwightman/pytorch-image-modelshttps://www.cnblogs.com/Matrix_Yao/p/9563...原创 2019-10-16 12:50:59 · 292 阅读 · 0 评论 -
kaggle颅内出血比赛分析
帖子来自[1]帖主的内容：With se_resnext50 you can achieve 0.066 on LB. Here is the tips.5 folds 512x512 3 epochs hflip, crop, brightness, contrast, rotate (here[3]is the details of augmentations) thre...原创 2019-10-18 22:47:28 · 656 阅读 · 0 评论 -
kaggle中自己的notebook不见了
打开你编辑过的公开的kernel notebook点击右上角的数字然后会在网页正中弹出来这么一个对话框,点进去就是你原来的notebook了.原创 2019-10-17 08:41:48 · 1380 阅读 · 0 评论 -
BCEWithLogitsLoss的使用案例
在RSNA的比赛中的用法如下(GPU版本):torch.nn.BCEWithLogitsLoss(weight=torch.Tensor([2/7,1/7,1/7,1/7,1/7,1/7]).cuda())原创 2019-10-16 21:01:14 · 1392 阅读 · 0 评论 -
best single model of RSNA
对于[1]中的个单模型进行汇总:用户 模型 数据集像素 LB得分 备注 Tim Yee EfficientNet B1 224x224 0.098 Tim Yee EfficientNet B0 224x224 0.093 Kun Jiang VGG19,epoch20 没说 0...原创 2019-10-15 23:56:09 · 427 阅读 · 0 评论 -
kaggle api下载自定义数据到colab上面
colab命令如下:!pip install -U -q kaggle!mkdir -p ~/.kaggle!echo '{"username":"pupil3","key":"ce80a1c5660b4b333b721db97c698b99"}' > ~/.kaggle/kaggle.json!chmod 600 ~/.kaggle/kaggle.json!mkdir -p...原创 2019-10-14 15:04:15 · 376 阅读 · 0 评论 -
RSNA Intracranial Hemorrhage Detection的discussion整理
＃－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－这个比赛，kaggle notebook中使用命令查看数据集大小：!du -h --max-depth=1 /kaggle/input/rsna-intracranial-hemorrhage-detection39G /kaggle/input/rsna-intracranial-hemorrhag...原创 2019-10-11 18:45:41 · 1485 阅读 · 0 评论 -
kaggle中的Two-Stage比赛规则以及metadata数据的使用规定
[1]是Two-Stage比赛的一些说明.分为两阶段,merge deadline之前是stage1,mereg deadline之后是stage2.[1]中的意思是为了防止参赛者不写代码直接使用别人的成果,所以在stage1要求参赛者提供代码,并且要求改代码能复现submission.csv中的数据.如果不提交代码,就取消最终成绩.------------------...原创 2019-10-07 22:22:36 · 1018 阅读 · 0 评论 -
kaggle的kernel-only比赛中出现Your Notebook cannot use internet access in this competition解决方案
报错如下:这类比赛的规定就是:你如果想提交文件,那么这个submission的生成不能依赖于Internet所以在kernel-only比赛中,你的notebook不能使用internet,否则就不能提交.所以解决方案就是:关闭internet重新生成submission.csv文件然后commit----------------------------...原创 2019-10-07 20:32:19 · 9322 阅读 · 9 评论 -
kaggle图像比赛中的submission文件格式解析
以Severstal: Steel Defect Detection比赛为例,https://www.kaggle.com/c/severstal-steel-defect-detection/data里面的一部分说明如下:In this competition you will be predicting the location and type of defects found ...原创 2019-10-06 20:21:31 · 1381 阅读 · 0 评论 -
CT流程与CT图像的windowing操作(转载＋整理)
根据[4]中的定义: CT 的特点是能够分辨人体组织密度的轻微差别，所采用的标准是根据各种组织对X 线的线性吸收系数（μ值） 来决定的。[5]中提到了一个公式:所以比赛中的dicom的灰度值需要转化为CT值。CT值的物理意义就是CT射线照了你的身体，辐射经过你的身体时的辐射强度的衰减程度。------------------------------------------...原创 2019-10-08 15:50:51 · 2497 阅读 · 1 评论 -
RSNA Intracranial Hemorrhage Detection的EDA整理
EDA链接 解读说明或者解读链接 Public Score EDA: View dicom images with correct windowing CT流程与CT图像的windowing操作(转载＋整理) EDA - DICOM tags & windowing head CTs 单纯统计数据，没啥用 但是有个新的windowi...原创 2019-10-08 17:40:04 · 893 阅读 · 1 评论 -
医学图像-颅内出血(转载＋整理)
颅内出血（intracerebral hemorrhage，缩写：ICH脑出血示意图 [1]如下：这个kernel的作者对其中上述表格中的其中３种脑出血的起因和定义进行了详细的介绍．Epidural hematomaA hematoma is a collection of blood, in a clot or ball, outside of a blood vessel. ...转载 2019-10-08 18:59:37 · 2194 阅读 · 0 评论 -
RSNA Intracranial Hemorrhage Detection有提交结果的kernel简要分析和汇总
Kernel名称 模型 得分 See like a Radiologist with Systematic Windowing Pytorch ResNeXt 32x8d CenterCrop ResNext 0.084 Pytorch ResNeXt 32x8d 50/50% target data ResNext 0.0...原创 2019-10-08 22:36:24 · 1118 阅读 · 5 评论 -
kaggle医学图像中的CT值(Hounsfield Unit)
CT图象以不同的灰度来表示,反映器官和组织对X线的吸收程度,黑影表示低吸收区,即低密度区,如肺.白影表示高吸收区,即高密度区,如骨骼.CT还可以用组织对X线吸收的系数来说明起密度高低的程度,具有一个量的概念,实际工作中用CT值来表达这个概念. 具体来说 就是人身体的每个组织器官有自己的吸收系数即CT值，CT片上的值代表了拍摄的部位是否正常,是否有病变.常见人体组织的CT值（HU） ...转载 2019-10-08 11:11:06 · 4462 阅读 · 0 评论