- 博客(71)
- 收藏
- 关注
RSS订阅
原创 从容器制作docker镜像
1. 退出容器：先整理容器，然后退出容器(最好是重启容器)2. docker commit -m 'tf-1.15' -a 'tianll' unet_till tf-1.15格式：docker commit -m '镜像描述' -a '制作者' 容器名 镜像名3. 查看制作镜像是否成功docker images、注意：这里在制作镜像的时候不会制作挂载目录里面的内容，可以预先将内容整理至挂载目录4. 将镜像制作成压缩文件：docker save 4f2bb611...
2020-08-28 13:35:16
222
原创 ubuntu16.04+cpu环境下的darknet+yolov3搭建
前言： 此次yolov3搭建与程序实现是在ubuntu16.04+cpu的环境下实现的，本文主要介绍环境的搭建。欢迎持续关注系列文章。参考博客：https://pjreddie.com/darknet/yolo/https://blog.youkuaiyun.com/weixin_41851439/article/details/88712465?utm_source=blog_wap_sh...
2019-07-08 19:24:29
1957
4
原创 ubuntu18.04已匹配蓝牙耳机但是连接不上
在接上蓝牙适配器后，可以与蓝牙耳机进行配对，但是无法连接，如下图在点击蓝牙耳机后仍然连接不上去。解决方法：1.去掉ControllerMode的注释，并修改模式为bredr模式，即：ControllerMode = bredr，2重启蓝牙服务：sudo service bluetooth restart再进行连接，就可以连接上去了，如下图，现实已连接。...
2021-11-25 09:05:08
7938
7
原创 Tkinter代码学习笔记
通过一些小例子代码，可以快速入门TKinter的学习。对其中的代码进行了大量的注释，方便大家学习，有需要自取~链接：https://pan.baidu.com/s/1eod7jyJ2gd8gEtl91BPWfg提取码：2a2h
2021-11-11 00:47:44
465
原创 吃瓜教程（五）-支持向量机
6.1间隔与支持向量直观上看，应该去找位于两类训练样本"正中间"的划分超平面，即图 6.1 中红色的那个，因为该划分超平面对训练样本局部扰动的"容忍押性最好.6.3核函数6.4软间隔与正则化...
2021-07-29 23:35:02
269
原创 win10+anaconda安装yolov5---亲测有效！
对于yolo系列，应用广泛，在win10端也有很大的应用需求，所以这篇文章给出win10环境下的安装教程。先给出系列文章win10+anacnda实现yolov3YOLOV5-3.0/3.1版本版本问题python 3.7 torch 1.6.0 torchvision 0.7.0 cuda 10.1注意：Yolov5-3.1只能使用torch 1.6.01.在网站下载对应版本的torch和torchvision的whl文件https://download.pytorch.o..
2021-04-28 17:52:27
12708
25
原创 超详细的pytorch版本yolov3安装教程--亲测有效！！！
前言 最近在进行一个工程项目，需要使用yolo算法来实现。首先就选择了yolov3来进行demo实现，因为yolov3在YOLO系列中也是非常经典的一个版本。网上有很多环境配置教程，但是很多教程的讲述也是非常片面，前因后果没有交代清楚，导致我们在安装的时候会踩非常多的坑。自己总算流程走通了，这里做一个记录，以供他人参考。电脑配置CPU:i7-10750H 内存：16G 显卡：GTX1650 4G Anaconda:4.9.21.版本问题 YOLOV3-pytorch...
2021-04-24 16:02:17
12718
6
原创 windows安装anaconda最详细教程
Anaconda指的是python的一个开源发行版本，其包含了Python、conda等180多个科学包及其依赖项。 因为包含了大量的科学包，Anaconda 的下载文件比较大。可以把anaconda理解为一个python的傻瓜捆绑包。作为python的编辑器，有多种多样，例如pycharm也是功能强大，但是作为交互式的开发测试，本人还是喜欢使用anaconda的jupyter notebook，方便灵活。下面讲解一些anaconda的安装步骤。第一步：首先进入anaconda官网下载an...
2021-03-29 11:01:24
11678
2
原创 零基础入门语义分割-地表建筑物识别 Task6 模型集成 -学习笔记
在上一章我们学习了如何构建验证集，如何训练和验证。本章作为本次赛题学习的最后一章，将会讲 解如何使用集成学习提高预测精度。 本章讲解的知识点包括：集成学习方法、深度学习中的集成学习和结果后处理思路。 一、学习目标 • 学习集成学习方法以及交叉验证情况下的模型集成 • 学会使用深度学习模型的集成学习 二、集成学习方法 在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有 Stacking、Bagging 和 Boosting，同时这些集成学习方法与具体验证集
2021-03-07 21:21:58
297
原创 零基础入门语义分割-地表建筑物识别 Task5 模型训练与验证 -学习笔记
一个成熟合格的深度学习训练流程至少具备以下功能： • 在训练集上进行训练，并在验证集上进行验证； • 模型可以保存最优的权重，并读取权重； • 记录下训练集和验证集的精度，便于调参。 为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节 中将会结合 Pytorch 代码进行讲解。一、学习目标 • 理解验证集的作用，并使用训练集和验证集完成训练 • 学会使用 Pytorch 环境下的模型读取和加载，并了解调参流程 二、构造验证集 .
2021-03-04 23:53:44
312
2
原创 零基础入门语义分割-地表建筑物识别 Task4 评价函数与损失函数 -学习笔记
本章主要介绍语义分割的评价函数和各类损失函数。一、学习目标 • 掌握常见的评价函数和损失函数 Dice、IoU、BCE、Focal Loss、Lovász-Softmax； • 掌握评价/损失函数的实践；二、Dice 评价指标三、Dice Loss四、IoU 评价指标五、Focal Loss 六、代码实现dice评价指标代码实现import numpy as npdef dice(output, target): '''计算D...
2021-03-01 21:32:46
415
2
原创 零基础入门语义分割-地表建筑物识别 Task3 语义模型发展 -学习笔记
贴上前两节的博客链接：task1-赛题理解task2-数据扩增本章主要讲解的是语义分割网络模型的发展：FCN 、SegNet、Unet、DeepLab、RefifineNet、PSPNet、 GAN 语义分割。 语义分割（全像素语义分割）作为经典的计算机视觉任务（图像分类，物体识别检测，语义分割）。其 结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识 别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分 割图像。
2021-02-26 22:56:20
2235
原创 零基础入门语义分割-地表建筑物识别 Task2 数据扩增 -学习笔记
先给出task1的链接：task1-赛题理解这一节进行数据扩增的试验读取图片：train_mask = pd.read_csv('./data/train_mask.csv', sep='\t', names=['name', 'mask']) train_mask['name'] = train_mask['name'].apply(lambda x: './data/train/' + x)img = cv2.imread(train_mask['name'].iloc[0])mas
2021-02-23 22:44:05
620
2
原创 添加conda的下载源
conda install和创建虚拟环境下载慢先添加清华源。conda config --add channelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forgeconda config --add channelshttps://mirrors.tu...
2021-02-23 00:30:20
1379
原创 在jupyter notebook中切换不同的虚拟环境
在anaconda 中刚新建了一个虚拟环境，然后打开jupyter notebook，想切换到刚刚新建的虚拟环境中，却找不到，于是一顿倒腾......打开anaconda prompt输入：conda activate env_nameconda install ipykernelpython -m ipykernel install --user --name Seg --display-name Seg将其中的Seg改为自己虚拟环境的名字即可。然后再次打开jupyter not
2021-02-23 00:12:35
864
原创 Anaconda虚拟环境报错： ImportError: IProgress not found. Please update jupyter and ipywidgets. See https:/
在anaconda中新建的虚拟环境中跑代码报出如下错误：ImportError: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.htmljupyter的版本有些低了，所以重装一下可以先用你的环境 conda activate xx卸载jupyter：pip uninstall jupyter.
2021-02-21 14:11:45
1482
原创 修改Jupyter notebook默认打开的起始位置
jupyter notebook默认是打开C盘中的文件，这时候就无法看到其他盘中的资料，这里简单介绍一下打开其他盘的方法。打开anaconda prompt输入cd /d D:然后输入jupyter notebook即可打开在D盘中打开jupyter notebook....
2021-02-21 12:01:59
1590
原创 安装python包的时候文件夹权限报错： InvalidArchiveError(‘Error with archive D:\\anaconda\\pkgs\\openssl-1.1.1j-h8ff
在安装python包的时候，anaconda出现文件夹权限错误：InvalidArchiveError('Error with archive D:\\anaconda\\pkgs\\openssl-1.1.1j-h8ffe710_0.tar.bz2. You probably need to delete and re-download or re-create this file. Message from libarchive was:\n\nCould not unlink')Inval..
2021-02-21 11:50:06
6314
原创 Jupyter notebook报错：anaconda服务似乎挂掉了,但是会立刻重启的.
报错：在import albumentationsas A的时候，出现：anaconda服务似乎挂掉了,但是会立刻重启的。如下图原因：可能albumentations这个库跟显存有关。解决办法：在加上GPU的指定后就解决了问题。在代码中加一个使用GPU的指定，如：os.environ['CUDA_VISIBLE_DEVICES'] = '0'搞定。欢迎关注公众号：...
2021-02-21 11:31:31
1646
2
原创 pip install时候ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问。
在anaconda中pip install 的时候报出如下错误：ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问。: 'D:\\anaconda\\Lib\\site-packages\\cv2\\cv2.cp38-win_amd64.pyd'Consider using the `--user` option or check the permissions.解决办法：在pip
2021-02-21 11:03:56
1308
原创 零基础入门语义分割-地表建筑物识别 Task1 赛题理解 -学习笔记
相关链接地址：零基础入门语义分割比赛-地表建筑物识别，学习任务。赛题理解：赛题名称：零基础入门语义分割-地表建筑物识别赛题目标：通过本次赛题可以引导大家熟练掌握语义分割任务的定义，具体的解题流程和相应的模型，并掌握语义分割任务的发展。赛题任务：赛题以计算机视觉为背景，要求选手使用给定的航拍图像训练模型并完成地表建筑物识 别任务。 学习目标：理解赛题背景和赛题数据完成赛题报名和数据下载，理解赛题的解题思路赛题数据：遥感技术已成为获取地表覆盖信息最为行之有效的..
2021-02-21 00:13:10
1608
8
原创 将桌面移动到D盘，D盘中的资料填满了整个桌面
看了一个博主的博文将桌面位置改动到D盘的文章，本身自己电脑C盘的空间不大，于是按照他的操作步骤：在桌面上双击打开我的电脑：选择桌面右键属性：(本图是已经成功修改后的图片)点击位置，然后点击移动，然后选择需要移动的D盘。完成！可问题来了！！！此时D盘的所有文件都跑到了桌面上！！！误人的博文，网络上很多博文都是这样，简单的粘贴赋值！！导致一些bug在里面，误人子弟。解决办法：在上一步的过程中，点击位置：然后选择还原默认值，这个时候提示你创建新的文件夹。我选择的是.
2021-01-19 15:01:33
7110
6
原创 机器学习算法(三)：K近邻(k-nearest neighbors)初探
这里先给出阿里云机器学习训练营地址：阿里云机器学习训练营，可以将其代码下载进行学习或者参加最后一个任务的比赛。1 KNN的介绍和应用1.1 KNN的介绍kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形
2020-12-24 19:37:56
1184
2
原创 机器学习算法（二）: 朴素贝叶斯(Naive Bayes)
这里先给出阿里云机器学习训练营地址：阿里云机器学习训练营，可以将其代码下载进行学习或者参加最后一个任务的比赛。1. 实验室介绍1.1 实验环境1. python3.72. numpy >= '1.16.4'3. sklearn >= '0.23.1'1.2 朴素贝叶斯的介绍朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的
2020-12-23 10:54:33
4036
原创 机器学习算法（一）: 基于逻辑回归的分类预测
这里先给出阿里云机器学习训练营地址：阿里云机器学习训练营，可以将其代码下载进行学习或者参加最后一个任务的比赛。1 逻辑回归的介绍和应用1.1 逻辑回归的介绍逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。逻辑回归模型的优劣
2020-12-22 20:21:13
1305
原创 np.meshgrid()小例子
简单作用就是：从坐标向量中返回坐标矩阵#coding:utf-8import numpy as np# 坐标向量a = np.array([1,2,3])# 坐标向量b = np.array([7,8])# 从坐标向量中返回坐标矩阵# 返回list,有两个元素,第一个元素是X轴的取值,第二个元素是Y轴的取值res = np.meshgrid(a,b)#print(res)#返回的是坐标矩阵，且把x和y分开了。#返回结果: [array([ [1,2,3] [1,2,3] ]),
2020-12-22 16:59:59
310
原创 anaconda安装lightgbm和gensim
lightgbm:在导入包的时候遇到如下错误：解决办法：conda install lightgbm注意：在anaconda环境尽量使用conda install 而不是pip install，这样避免后续和其他conda依赖包的冲突。gensim：Conda install gensim安装失败：解决办法：pip install gensim注意：若中间出现卡顿现象，尝试按enter键，看能否解决问题。...
2020-12-07 09:51:14
267
原创 推荐系统新闻推荐-排序模型+模型融合
排序模型通过召回的操作， 我们已经进行了问题规模的缩减， 对于每个用户， 选择出了N篇文章作为了候选集，并基于召回的候选集构建了与用户历史相关的特征，以及用户本身的属性特征，文章本省的属性特征，以及用户与文章之间的特征，下面就是使用机器学习模型来对构造好的特征进行学习，然后对测试集进行预测，得到测试集中的每个候选集用户点击的概率，返回点击概率最大的topk个文章，作为最终的结果。排序阶段选择了三个比较有代表性的排序模型，它们分别是：LGB的排序模型 LGB的分类模型 深度学习的分类模型DIN
2020-12-06 19:35:48
796
3
原创 推荐系统新闻推荐-特征工程(四)
制作特征和标签， 转成监督学习问题我们先捋一下基于原始的给定数据， 有哪些特征可以直接利用：文章的自身特征， category_id表示这文章的类型， created_at_ts表示文章建立的时间， 这个关系着文章的时效性， words_count是文章的字数， 一般字数太长我们不太喜欢点击, 也不排除有人就喜欢读长文。 文章的内容embedding特征， 这个召回的时候用过， 这里可以选择使用， 也可以选择不用， 也可以尝试其他类型的embedding特征， 比如W2V等 用户的设备特征信息
2020-12-03 19:24:15
487
原创 推荐系统新闻推荐-多路召回(三)
多路召回所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以明显的看出，“多路召回策略”是在“计算速度”和“召回率”之间进行权衡的结果。其中，各种简单策略保证候选集的快速召回，从不同角度设计的策略保证召回率接近理想的状态，不至于损伤排序效果。如下图是多路召回的一个示意图，在多路召回中，每个策略之间毫不相关，所以一般可以写并发多线程同时进行，这样可以更加高效。上图只是一个多路召回的例子，也就是说可以使用多种不同的策略来获
2020-11-30 20:32:52
913
原创 零基础入门推荐系统-数据分析(二)
数据分析数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。建议：当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感导包%matplotlib inlineimport pandas as pdimport
2020-11-27 21:19:37
297
原创 零基础入门推荐系统-新闻推荐(一)
赛题理解赛题理解是切入一道赛题的基础，会影响后续特征工程和模型构建等各种工作，也影响着后续发展工作的方向，正确了解赛题背后的思想以及赛题业务逻辑的清晰，有利于花费更少时间构建更为有效的特征模型， 在各种比赛中， 赛题理解都是极其重要且必须走好的第一步， 今天我们就从赛题的理解出发， 首先了解一下这次赛题的概况和数据，从中分析赛题以及大致的处理方式， 其次我们了解模型评测的指标，最后对赛题的理解整理一些经验。赛题简介此次比赛是新闻推荐场景下的用户行为预测挑战赛， 该赛题是以新闻APP中的新闻推荐为
2020-11-25 20:18:10
747
原创 jupyter notebook如何打开md文件
问题：在电脑上使用jupyter打开md的文件的时候，发现现实的是md源码文件，并不能正确的现实md文件，如图第一步：进入环境后，安装notedownpip installhttps://github.com/aaren/notedown/tarball/master或者pip install notedown第二步：找到文件.jupyter/jupyter_notebook_config.py并打开，没有的话就新建。第三步：在文件中增加以下内容，然后保存。c.Note.
2020-11-24 11:03:54
3961
2
原创 Error response from daemon: conflict: unable to delete 4f2bb6112fd7 (must be forced) - image is refe
在使用docker rmi id 删除镜像的时候报错：Error response from daemon: conflict: unable to delete 4f2bb6112fd7 (must be forced) - image is referenced in multiple repositories那么就改用语句：docker rmi 镜像名字：tagdocker rmi -f id...
2020-08-27 18:03:37
236
原创 open /data/var/lib/docker/tmp/docker-import-503247299/repositories: no such file or directory
在docker load的时候报错，那么就改用：cat tf-1.15.tar | docker import - 镜像名字：tag
2020-08-27 18:01:14
3856
原创 【keras自定义上采样层】NameError: name ‘tf‘ is not defined
在unet网络中自定义了上采样函数，但是在预测导入模型的时候却报错了NameError: name 'tf' is not defined原因是需要在导入预测文件中导入模型的时候传入相应参数model=keras.models.load_model('my_model.h5',custom_objects={'tf':tf})当然对应的需要使用import tensorflow as tf使用keras.models.load_model来导入模型，那么在训练保存模型的时候用m...
2020-08-24 08:35:46
2406
原创 ‘`pydot` failed to call GraphViz.‘
写了一个fcn网络结构，准备将网络结构画出来，却报错了：'`pydot` failed to call GraphViz.'我记得我安装过GraphViz，还花了一番功夫，怎么又报错呢然后：pip install pydot仍然抱错其实是pydot的原因，由于pydot已经停止开发了,pyhn3.5和 python36已经用不起来。解决方案是第一步：先卸载掉已经安装的pydot: pip uninstall pydot 第二步：安装pydotpluspip instal.
2020-08-21 09:28:42
191
原创 python批量修改图片名字
写了一个简单的脚本，来批量修改一些顺序图片，如图片的顺序是200,201,202.....将其修改为0，1,2......import osimport skimage.io as iodef pic_name(test_path,): filenames = os.listdir(test_path) num_image = len(filenames) for i in range(num_image): i =i+200 img =
2020-08-19 08:40:00
928
原创 IndexError: too many indices for array
val_images = np.array((num_image, IMAGE_SIZE, IMAGE_SIZE, 1))val_images[i,:,:,:] = img一直会报错，尝试修改img的维度也无果。解决办法：将array改为zeros即可val_images = np.zeros((num_image, IMAGE_SIZE, IMAGE_SIZE, 1))val_images[i,:,:,:] = img...
2020-08-17 08:15:55
590
原创 【成功解决】ValueError: `validation_steps=None` is only valid for a generator based on the `keras.utils.Se
在调试keras的时候，加入验证集，且用生成器来表示的验证集，如下代码history = model.fit_generator(train_gene, validation_data=val_gene, steps_per_epoch=75,epochs=epoch,verbose=1,callbacks=[model_checkpoint])报出如下错误：ValueError: `validation_steps=None` is only valid for a generator b
2020-08-15 17:11:59
3467
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人