python
关注
分享
扫一扫
文章平均质量分 59
TinaO-O
这个作者很懒，什么都没留下…
展开
-
python 判断 hdfs 文件 目录 是否存在
很简单 filexistchk = "hadoop dfs -test -e " + hdfs_path + ";echo $?" filexistchk_output = subprocess.Popen(filexistchk, shell=True, stdout=subprocess.PIPE).communicate() if '1' not in str(filexistchk_output[0]): return 1 else:原创 2020-09-07 11:30:42 · 3661 阅读 · 0 评论 -
python 3 四舍五入round 会倾向于偶数 很容易出错 round(0.5)=0
在四舍五入时，一般在pytho3都用round(x)比如round(0.1)=0,round(1,6)=2等但是round(0.5)却会返回0，即round(0.5)=0同时round(-0.5)=0官方的解释：https://docs.python.org/3/library/functions.html#roundz这是什么意思呢，就是所有的中间数...原创 2020-04-03 00:06:56 · 2535 阅读 · 0 评论 -
快速幂 python版本 特别漂亮的代码 递归
class Solution: def myPow(self, x: float, n: int) -> float: def subpow(x,n): if n == 0:return 1 if n == 1:return x result = subpow(x,n>>1) ...原创 2020-03-30 18:33:24 · 418 阅读 · 0 评论 -
for 出错 ValueError: too many values to unpack (expected 2) 遍历多个变量
贼简单的代码示例for [i,j] in [range(3),range(3)]: print(i,j)输出：ValueError: too many values to unpack (expected 2)正确示例for i,j in zip(range(3),range(3)): print(i,j)输出：0 01 12 2原因：后面z...原创 2019-04-16 19:35:19 · 4514 阅读 · 0 评论 -
numpy 声明空数组
你搜索这个，你会发现好多都是np.zeros(5,2)，嗯都是复制的一个国外的帖子，然而没有翻译人家的话。然后你愤怒的关闭页面。这简直就是文不对题，这哪是空的。实际上，numpy的数组机制并不支持空数组。（什么鬼答案？）简单来讲就是numpy会申请连续的内存，如果频繁改变大小，他就要频繁申请新的内存。如果你会c语言知道指针的话，你很容易就能想到他不是list格式而是array格式。如果...原创 2019-04-16 19:21:15 · 19828 阅读 · 7 评论 -
keras 拼接两个函数api 为修改backbone并且使用其权重做准备
这个代码网络是model2，他用了我之前写的model_mine的网络结构。from keras.models import Modelfrom keras.layers import Input, Dense, Lambda,adda = Input(shape=(640, 480, 3))b = Input(shape=(23,))c = Input(shape=(54,...原创 2019-04-09 16:36:53 · 1034 阅读 · 0 评论 -
超简单的keras函数模型教程
from keras.models import Modelfrom keras.layers import Input, Dense, Lambdaa = Input(shape=(640, 480, 3))b = Input(shape=(23,))c = Input(shape=(54,))d = Dense(32)(b)multi = Lambda(lambda x: x*...原创 2019-04-09 10:59:15 · 735 阅读 · 0 评论 -
mask rcnn 之coco.py 解读
代码来自：https://github.com/matterport/Mask_RCNN使用coco.py的命令行代码是这样写的：你可以选择谷歌翻译。# Train a new model starting from pre-trained COCO weightspython3 samples/coco/coco.py train --dataset=/path/to/coco/...原创 2019-03-29 13:27:33 · 3684 阅读 · 9 评论 -
python 短 快 list ndarray 超实用代码
因为一搜索就是一堆笨拙的使用超长代码实现基础功能的博客，可能都是大一大二在练基础coding能力。但这显然是不适合真正的工作科研的。毕竟高集成api才是错误少，稳且快的选择,一句就能解决，我为啥写100行。所以我收集了一些用起来handy的方法。欢迎补充更简单直接的。将TXT读取整数到ndarray中dir= './int.txt'data_int = np.loadtxt...原创 2019-04-11 21:40:19 · 248 阅读 · 0 评论 -
一句代码 高层API python 使用SLIC 超像素分割
并不是从头开始写SLIC，而是直接使用。不适用于想学习SLIC的。from skimage.segmentation import slic,mark_boundariessegments = slic(image, n_segments=60, compactness=10)参数说明：n_segments: 分割块的个数，最终结果不会精确到60，可能是59，62这样compa...原创 2019-05-08 16:28:04 · 1613 阅读 · 0 评论 -
在jupyterlab中使用anaconda配置的虚拟环境 配置jupyter kernel
conda activate tensor13conda install ipykernel(tensor13) liutian@master:~$ ipython kernel install --user --name tensor13Installed kernelspec tensor13 in /home/liutian/.local/share/jupyter/ker...原创 2019-05-27 12:59:19 · 4169 阅读 · 0 评论 -
keras data generator 调试
在写了代码：https://blog.youkuaiyun.com/u013249853/article/details/90408122之后，我们希望能够看到，每次到底生成了什么因为如果你有数据扩增的代码，你就会想知道我生成的对不对，能不能调试，那么简单直观的调试代码如下[a,b] = training_generator.__getitem__(1)validation_generat...原创 2019-05-27 14:02:34 · 909 阅读 · 0 评论 -
Voc2012数据集 分割 怎么使用 加载标注
voc2007 与 voc2017是互斥的图片。这次说2012解压统统使用tar -xf 使用命令行，会自动给你融合图片。标注是图片，存储在/..../VOCdevkit/VOC2012/SegmentationClass标注一共是20类，加上背景21类，白边呢，算是未标注类，不计算到损失函数里，注意下。读取代码：import numpy as npfrom PIL i...原创 2019-05-30 21:45:46 · 2906 阅读 · 1 评论 -
显卡驱动版本 CUDA 版本 官方详解 cudnn gcc工具包 版本 约束 依赖 关系 tensorflow gpu 版本
驱动是向下兼容的：所以如果想使用最新的tf代码库，那么需要最新的驱动，并且旧的虚拟环境还是能用的。显卡驱动，要在考虑自己的系统下，选择最新的版本。Table 1. CUDA Toolkit and Compatible Driver Versions CUDA Toolkit Linux x86_64 Driver Version Windows x86_64 Driver Ve...原创 2019-06-01 10:12:17 · 2160 阅读 · 0 评论 -
ubuntu pip源
pip源有两种设置：1 永久需要更改conf文件，推荐：https://blog.youkuaiyun.com/yucicheung/article/details/79095742但是呢，有时候某个安装包清华源就是不好使，你又删不掉？！所以推荐使用暂时的源。需要在下面的命令中指定你要安装的东西：比如安装pythonpip install python -i http://pypi.doub...原创 2019-06-18 10:14:51 · 3380 阅读 · 0 评论 -
python 图片 常数 代码 padding image constant pad with constant code
简单来讲，计算机视觉需要将图片大小统一，这样才能输入到网络。这个代码就是将2D或者3D的图片padding 到指定大小，边缘填充使用指定常数，如果是3D，(512,512,3)最后一维不进行拓展我加了注释，如果拓展的不能整除，那么左，上，也就是序号小的比序号大的差一维rar = crop_to((5,5),np.array([[1,3,4,5],[2,3,3,3]]))prin...原创 2019-07-08 10:41:24 · 1213 阅读 · 0 评论 -
关于N卡深度学习的你应该知道的入门级命令
1. nvidia-smi这个应该都知道，可以静态查看显存占用，显卡利用率。如果有显卡没有被占用，那么状态就要等几秒才显示。如果全部占用了：比如下面的显卡所有的显存都大于0，所以是瞬间显示的2.watch -n 1 nvidia-smi动态每一秒显示显卡状态，1表示1秒，如果有显卡没被占用，那这里用1s显然是不明智的。3.nvtop如果你有显卡空着，你又想...原创 2019-07-02 21:59:48 · 1687 阅读 · 0 评论 -
matlab 读取 存储 numpy 的 .npy文件
工具包下载地址：https://github.com/kwikteam/npy-matlab解压缩安装：直接将该文件夹npy-matlab加入路径即可：无论你是右键该文件夹,还是使用命令行。使用：输入下面代码测试是否可用： a = rand(5,4,3); writeNPY(a, 'a.npy'); b = readNPY('a.npy'); sum(...原创 2019-09-26 10:49:34 · 19648 阅读 · 4 评论 -
python 读取matlab .mat 文件
直接上代码，具体看注释：from scipy.io import loadmat#读取文件ucm_seg = loadmat("D:/GMM/nyuv1/ucm/segmentation/ucm040/00000001.mat")#看一下该文件都包含什么东西，毕竟一个mat里面可能存很多东西ucm_seg.keys()#程序返回dict_keys(['__header__', 's...原创 2019-03-29 10:13:39 · 2007 阅读 · 0 评论 -
keras.layer.input()
tenserflow建立网络由于先建立静态的graph，所以没有数据，用placeholder来占位好申请内存。那么keras的layer类其实是一个方便的直接帮你建立深度网络中的layer的类。该类继承了object，是个基础的类，后续的诸如input_layer类都会继承与layer由于model.py中利用这个方法建立网络，所以仔细看一下：他的说明详尽而丰富。input()这...原创 2019-04-02 08:45:32 · 23638 阅读 · 0 评论 -
jupyter系列一
我安装了jupyter notebook ，以及jupyter lab，以及 nb_conda插件。我尝试了非局域网访问localhost，失败。可能我需要学一下jupyter hub。使用教程：在目录下开启，会自动把这个目录当作根目录，所以可以先cd到你的项目目录，在执行：jupyter lab收集在command下的快捷键如下：https://hub.mybinder.org/...原创 2018-12-06 20:38:54 · 303 阅读 · 0 评论 -
二：mask RCNN ——jupyter notebook mask rcnn
默认你已经安装好环境了。以下教程完全遵照官网。并且从官网下载好代码包了：https://github.com/matterport/Mask_RCNN，注意不是detrecton那个直接到setup.py路径，也就是根路径python3 setup.py install看下都干啥了：WARNING:root:Fail load requirements file, so...原创 2018-12-04 09:13:08 · 2553 阅读 · 0 评论 -
token-based authentication
jupyter notebook 提到这个安全授权机制，我不知道中文。但是可以由英文解释：https://stackoverflow.com/questions/1592534/what-is-token-based-authentication于是我的理解是。你的本地的jupyter 在命令行给你创建了一个tocken：然后我用浏览器访问就可以打开我这个文件夹的jupyter n...原创 2018-12-03 12:49:04 · 1407 阅读 · 0 评论 -
一：mask rcnn—— 深度学习框架搭建 环境配置 虚拟环境 不冲突 conda 批量安装环境 tensorflow 随意切换框架版本
鉴于服务器多人使用，并且普通用户一般没有权限，所以。需要一种方法。我还要废话两句。比如pip anaconda这种安装管理软件背后最重要的是啥？当然是版本控制了，比如安装的第一个包需要python3.5，第二个3.5 3.6都成，然而你制定了环境是3.6.那么该管理软件会怎么办？究竟安装什么版本的？怎么满足用户需求，最贴合用户的自己都察觉不到的版本需求，怎么下载最少的资源，版本变动最少次，都是需要...原创 2018-11-30 16:05:58 · 584 阅读 · 0 评论 -
普通用户使用conda命令 ubuntu linux 路径 maltab 明明安装了 找不到命令 command not found 添加环境路径
是这样的，你比如你安装了一个anaconda，或者matlab在你的私人文件夹。你不是root，你没有把你安装的软件装上软连接，那你直接输入命令，你的电脑是找不到的。这个问题很简单。你只需要知道你安装的位置，然后亲自去调用。也就是说不写maltab #肯定会提示你找不到/home/tina/MATLAB/R2018b/bin/maltab #去找到你安装路径里面的可执行文件，绝对...原创 2018-11-30 15:32:23 · 4177 阅读 · 2 评论 -
conda 安装 TensorFlow gpu cuda 轻松 无错 安装 nb_conda jupyter conda常用命令 快速入门
前置安装：nvidia 显卡驱动下一步安装anaconda，如果安装anaconda3就会自动去链接python3 配套的库。首先理解下配置环境是在干嘛：很简单，就是安装软件那么怎么简化这个过程，避免换个环境，就得卸载重装，和别人共用一个服务器，就为了配置环境焦头烂额。很多人只把anaconda作为一个综合包，里面有很多需要用的别人的代码。但是它的真正作用是建立使用怕python的...原创 2018-11-30 14:42:23 · 5726 阅读 · 4 评论 -
明明配置了路径，为什么conda不是内部或外部命令
配置路径的文章太多的，此处省略1.不要安装在默认的隐藏路径，也不要安装在中文路径2.安装选项两个都不要勾选3.安装完后运行Anaconda Navigator4.运行Anaconda prompt5.重启试试6.重装试试,我就是重装做了1，3，4，之后系统找到了anaconda原因可能是因为，运行了Navigator 后，可以把anaconda的路径放在最前面，这样就找的到了。用过linux都知道...原创 2018-05-24 22:24:42 · 20154 阅读 · 4 评论 -
官方文档 numpy 数组 张量 声明 操作 极简笔记 必须知道的基础操作
1 安装win与linux都可用pip安装numpy，记得改源。2 ndarray2.1 简单生成，主要看属性import numpy as npex = np.arange(18).reshape(3,6)ex.shape ex.ndimex.dtype.nameex.itemsize#单元素字节数ex.size#18个元素type(ex)2.2 其他生成ex = np...原创 2018-05-21 19:09:22 · 2170 阅读 · 0 评论 -
官方最新 ubuntu 安装sublime text教程
http://www.sublimetext.com/docs/3/linux_repositories.html#aptwget -qO - https://download.sublimetext.com/sublimehq-pub.gpg | sudo apt-key add -sudo apt-get install apt-transport-httpsecho "deb ht...原创 2018-12-10 17:16:45 · 1078 阅读 · 0 评论 -
sublime 爱用快捷键
昨天找着找着就直接跳到google查找配套编译IDE去了。。。IDE早晚也要解决1.直接跳行 ctrl + G再按一下esc/ctrl+g消失2.注释整段代码选中内容后，ctrl+shift+/ 3.取消注释代码选中内容后，ctrl+shift+/如果选中内容中，有未被注释的代码，则会执行全部注释操作 4.切换窗口何普通的软件窗口一样：ctrl+ P...原创 2018-12-12 13:28:43 · 152 阅读 · 0 评论 -
python3 匿名函数 与 生成器
对于keras来讲，这两个概念很重要。匿名函数很简单，有时候我们的函数很简单，我们就会想要偷个懒，不想再单独出去定义新的方法，现在立刻马上就顺手写个函数。这时就需要匿名函数。比如map(func(),list)的作用是将list当中的每个元素都当作参数输入到func()这个函数中。如果我就做个x*x操作，就可以简单的写道：list_a = list(range(10))prin...原创 2019-04-04 08:39:05 · 304 阅读 · 3 评论 -
tensorflow 占位符
tensorflow的占位符本质就是先声明数据类型，以便建立模型时申请内存。在这里声明的：https://github.com/tensorflow/tensorflow/blob/r1.13/tensorflow/python/ops/array_ops.pytf.placeholder( dtype, shape=None, name=None)需...原创 2019-03-26 10:41:39 · 5299 阅读 · 0 评论 -
ubuntu 安装tfplot windows直接下载安装
官网那么一共有两种方式安装：一种直接用pip：pip install tensorflow-plot还有一种是能获取最新的：pip install git+https://github.com/wookayin/tensorflow-plot.git@master另外作者还说了只兼容tf1.x版本，2.x就是future work了。还有一些速度上的，兼容上的问题，请...原创 2019-03-18 12:21:34 · 1245 阅读 · 0 评论 -
本地windows的pycharm 使用远程anaconda虚拟环境环境跑代码
emmm，虽然vim直接写代码已经可以了，但是这也是另一种方式。本地用windows安装pycharm的企业版，然后把代码用服务器的anaconda创建的虚拟环境以及硬件跑。那么教程是两个部分，第一个部分是pycharm和远程连接，服务器啊，密码啊，文件夹什么的。第二个部分是配置远程环境。第一部分的教程第二部分的教程首先要打开你的项目，然后这个项目需要和你的本地目录一致。...原创 2019-04-24 20:57:36 · 10058 阅读 · 3 评论 -
python 3 format
format 中心就是索引主要就是,其中==是指那些那可以直接打印的，放着。下面我们对==举个栗子。双引号 点 format " ".format()print("{int}str{int}".format(==,==))format里面能放什么{1}代表选取第二个format的参数，该参数可以是任何你可以直接打印的东西，比如函数的返回值等：看，和pri...原创 2019-03-25 09:05:31 · 1502 阅读 · 1 评论 -
TypeError: 'numpy.ndarray' object is not callable
网上给出了很多错误可能性，我在添加一种。如果你使用小括号调用了ndarray数据也会这样报错。import numpy as nparray1 = np.zeros((2,2),dtype = np.int32)print(array1(0,0))正确的应该是：import numpy as nparray1 = np.zeros((2,2),dtype = np.int...原创 2019-03-21 13:43:47 · 58888 阅读 · 10 评论 -
matplotlb 混淆矩阵 论文 用 python 画matlab产生的混淆矩阵
论文当中经常会见到：这样的混淆矩阵，之前我们讨论过怎么将其放到latex中，这里讨论下，怎么设置四舍五入，怎么更改坐标，怎么限制显示阈值。比如上面这张图，小于15的就不显示。我们的数据来源是一个matlab的.mat文件，读入后会自动生成字典，并且该混淆矩阵是一个np.arry。直接看代码注释：from numpy import *import matplotlib.pyplo...原创 2019-03-05 13:59:57 · 1779 阅读 · 0 评论 -
pyhton一： 元祖截取
本内容是对于http://www.runoob.com/python/python-tuples.html教程中的元祖截取的补充a=(1,2,3,4,5,6);b=(:3);c=(3:);那么a[3],4这个元素到底在b中还是在c中，还是都在，还是都不在？b=(1,2,3)c=(4,5,6)可以运行试下，答案是只出现在c中，所以默认切的那把刀在所给元素序号（比如本例是3，也就是第四个）的左边，所以...原创 2018-04-05 16:55:44 · 418 阅读 · 0 评论