黑暗星球-优快云博客

原创图像常用的数据增强技术（based on TensorFlow）

在图像处理的相关研究中，预处理作为数据输入管道中非常重要的一部分，在本文，我们将梳理一下常见的图像处理mnist的预处理### for MNIST# Train and Eval# step1: subtract 128# step2: div 128def preprocess_image(image, output_height, output_width, is_trai...

2018-11-09 18:14:25 5232

原创 tf.data官方教程 - - 基于TF-v2

这是本人关于tf.data的第二篇博文，第一篇基于TF-v1详细介绍了tf.data，但是v1和v2很多地方不兼容，所以替大家瞧瞧v2的tf.data模块有什么新奇之处。首先贴上第一篇的地址：《TensorFlow tf.data 导入数据（tf.data官方教程） * * * * *》TensorFlow版本：2.1.0文章目录使用 `tf.data` 构建数据输入通道1. 基本机制 ¶...

2020-03-30 16:01:58 3767

原创欢呼、雀跃，Anaconda 清华源又回来了！

Anaconda清华镜像已经恢复使用！目录1. Anaconda 清华源终于活了！2. 配置命令：2.1 添加清华anaconda镜像：2.1 Conda 附加库:conda-forgemsys2biocondamenpopytorch1. Anaconda 清华源终于活了！2. 配置命令：2.1 添加清华anaconda镜像：conda config --add channels h...

2019-06-17 23:11:06 55265 16

原创 Chrome 解决 CRX HEADER INVALID 问题

文章目录1. 问题2. 原因3. 解决方法1. 问题近期有不少 Chrome 用户在以拖动方式（离线）安装 crx 插件时，都遇到了如下错误：2. 原因Chrome 73 版本及以后，不再支持拖动离线安装。3. 解决方法1. 把下载好的xxx.crx 的扩展名改为 xxx.zip2. 在地址栏输入 chrome://extensions/，进入扩展程序安装界面3. 打开 ...

2019-06-04 00:41:50 72350 11

原创国内源停止 Anaconda 镜像服务后，我们该何去何从

 \quad\;随着 Python 语言的火热，使用 Anaconda 配置环境的人也越来越多，但 conda 国内镜像却宣布无限期停止服务。这使得 Anaconda 配置 Python 科学计算环境变得困难，因为 Anaconda 官方源在国外，下载速度很慢。问题： \quad\;Anaconda 官方源的速度很慢，所以很多人使用 ...

2019-05-04 14:53:12 13577 3

原创数据标注软件labelme详解

Labelme 版本：3.11.2文章目录1. Labelme 是什么？2. Labelme 能干啥？3. Labelme 安装要求4. Labelme 安装方法5. Labelme 使用方法6. Labelme 常见问题7. Testing8. Developing9. 将 labelme 打包成可执行文件10. 致谢1. Labelme 是什么？Labelme 是一个图形界面的图像标注...

2019-03-24 01:46:57 145994 51

原创 Conda 配置 TensorFlow-GPU 深度学习环境(10分钟)

TensorFlow 作为一个比较流行的框架，每年都有很多的新用户。而作为一个 TensorFlow 学习者，首当其冲的便是配置 TensorFlow 深度学习环境。TensorFlow 深度学习环境一般分为 CPU 版和 GPU 版本，其中，CPU 版本比较好配置，GPU 版本比较难配置。目前，随着 Conda（Anaconda和Miniconda）的大量使用，TensorFlow 深度学习环...

2019-03-14 00:59:57 8277 1

原创 Keras 开胃小菜之 MNIST 分类

MNIST 作为机器学习领域的 “Hello Word”，让我们能够非常直接的感受到机器学习的魅力。本篇演示怎么用 keras 来搭建一个简单的 CNN 来分类 MNIST 数据集，虽然模型很简单，但准确率可不低哦：99.25%#coding:utf-8'''基于 CNN 分类 MNIST注意：在本文，keras 后端为 TensorFlow'''import numpy ...

2019-03-09 23:42:13 750

原创谷歌浏览器安装（Win、Linux、离线安装）

Chrome作为一款挺不错的浏览器，其有着诸多的优良特性，并且支持跨平台。其支持（Windows、Linux、Mac OS X、BSD、Android），在绝大多数情况下，其的安装都很简单，但有时会由于网络原因，无法安装，所以在这里总结下Chrome的安装。Windows下的安装：在线安装：离线安装：Linux下的安装：在线安装：离线安装：...

2019-03-06 13:05:39 8072 5

原创 TensorFlow 中 Batch Normalization API 的一些坑

Batch Normalization 作为深度学习中一个常用层，掌握其的使用非常重要，本博客将梳理下各种 Batch Normalization API 的一些坑。如果你对 Batch Normalization 还不清楚，可以查看之前的博客 Inception v2/BN-Inception：Batch Normalization 论文笔记来学习下 Batch Normalization。...

2019-02-20 00:31:09 15783 30

原创 Tensorboard 与 Chrome 的部分旧版本不兼容

&ThickSpace;\quad\;TensorFlow作为一个比较流行的深度学习框架，使用的人数肯定不在少数。TensorBoard 作为 TensorFlow 编写的深度网络可视化的一把利器，其的重要性不言而喻。注：TensorBoard 需要配合 Chrome 使用。TF 作为谷歌开发的利器，&ThickSpace;\quad\;到目前为止（2018年底），Tens...

2019-02-19 19:10:10 2754

原创 Focal Loss 论文笔记

Focal Loss for Dense Object Detection摘要：到目前为止（2017年8月），目标检测的最高准确率都由R-CNN的衍生算法（two-stage）引领。在该类算法中，会在稀疏的目标候选位置（可能存在目标的位置）上使用一个分类器。相比之下，one-stage目标检测算法直接对原始图像进行密集的检测，这种算法可能更快，更简单，但准确率却一直没有超过two-stage目...

2018-12-05 13:58:08 4600

转载 Lena.jpg 与图像处理的渊源

作为图像处理研究人员，相信大家一定认识下面这幅图片（下载自：https://en.wikipedia.org/wiki/Lenna）：这就是Lenna本人了，全图是很sexy的，大家去看吧（http://www.lenna.org/full/l_hires.jpg）。熟悉图像处理或者压缩的工程师、研究人员和学生经常在他们的实验或者项目任务里使用“Lenna”或者“Lena”的图像。Lenna...

2018-11-23 14:55:06 33053 8

转载 Windows+anaconda+labelme安装

安装步骤：首先安装anaconda开始 &amp;amp;amp;gt;&amp;amp;amp;gt; 所有程序 &amp;amp;amp;gt;&amp;amp;amp;gt; Anaconda &amp;amp;amp;gt;&amp;amp;amp;gt; Anaconda Prompt（这个就相当于）在prompt里依次输入conda create --name=labelme p

2018-11-13 20:16:51 3435

原创 tf.estimator.train_and_evaluate 详解

tf.estimator.train_and_evaluate 是 TensorFlow 1.4.0 版中引入的 API。根据官方文档的内容，其应该是用来替代 tf.contrib.learn.Experiment 的。1. tf.estimator.train_and_evaluate 简介字面理解这个 API 就是用来 train 然后 evaluate 一个 Estimator 的，函数...

2018-11-13 19:48:53 35085 10

原创 TensorFlow 之 SessionRunHook

SessionRunHook 用来扩展哪些将Session封装起来的高级API的 session.run 的行为。SessionRunHooks are useful to track training, report progress, request early stopping and more. SessionRunHooks use the observer pattern and n...

2018-10-24 14:24:47 4476 2

原创 TensorFlow 1.12.0 更新总结

TensorFlow 1.12.0 更新总结Keras 更新Keras 模型现在可以直接输出为 SavedModel 格式（tf.contrib.saved_model.save_keras_model()），输出的模型可以使用 TensorFlow Serving 来部署。Keras 模型现在支持使用 tf.data.Dataset 作为数据源来进行模型评估。tf.data 更新...

2018-10-16 13:48:13 14179

原创 TensorFlow Estimator 中文官方文档

Estimator 是 TensorFlow 在1.4版后增加的高级API，使用其可以极大地简化开发过程，使我们更加专注于算法的逻辑。TensorFlow 关于 Estimator 的文档主要有以下：Estimator 快速入门内置 EstimatorEstimator 模型的保存特征列使用 Dataset 为 Estimator 提供数据自定义 Estimator...

2018-10-14 19:28:05 3528

翻译 TensorFlow Estimator 官方文档之----自定义Estimator

Creating Custom Estimator

2018-10-14 19:18:38 4280 3

转载 TensorFlow Estimator 官方文档之----Dataset for Estimator

Dataset for Estimator

2018-10-14 17:38:46 1637

原创 TensorFlow Estimator 官方文档之----Feature column

这个文档详细介绍了特征列（feature columns）的详情。可以将特征列看做raw data和Estimators间的介质。特征列非常丰富，使您可以将各种原始数据转换为Estimators可用的格式，从而可以轻松进行实验。在内置Estimators部分的教程中，我们训练了一个tf.estimator.DNNClassifier去完成Iris花的分类任务。在该例子中，我们只使用了numeri...

2018-10-11 15:34:34 15735 2

原创 TensorFlow Estimator 官方文档之----Checkpoints

本文介绍了 Estimators 模型的保存和恢复。TensorFlow提供了两种模型格式：checkpoints：该格式不可以跨语言。SavedModel：该格式可以跨语言。本文主要讲述checkpoints相关内容。关于 SavedModel 的更多细节，详见 Saving and Restoring。Estimator 模型的保存Estimators 在训练过程中会自动将以下...

2018-10-10 15:25:07 12090 1

原创 TensorFlow Estimator 官方文档之----内置Estimator

本文以 Iris 分类问题为例，来讲述 TensorFlow 内置 Estimator 的使用。1. Iris 分类问题简介Iris dataset是Fisher先生多年前采集的样本数据，包含了3种鸢尾花、150个样本集，每个样本集包含鸢尾花的四个特征值，分别是：花蕊长度、花蕊宽度、花瓣长度、花瓣宽度。从左到右依次为：Iris setosa、Iris versicolor、Iris vir...

2018-10-10 15:14:10 11614

转载使用profiler分析TensorFlow程序性能

转载自：https://blog.youkuaiyun.com/kenneth_yu/article/details/77466776tensorflow profiler 主要特性使用tensorflow profiler举例高级功能AdvisorTensorFlow profiler 主要特性从r1.3版本开始， tensorflow 提供profiler模块，参见github上的官网文...

2018-09-27 21:03:03 11025 6

原创 TensorFlow程序分析（profile）实战

导入必要的包import osimport tempfileimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom tensorflow.python.client import timeline建立模型batch_size = 100# placeholder...

2018-09-27 20:17:05 3423 1

翻译 How to profile TensorFlow

TensorFlow是当前最常用的机器学习库之一。对TensorFlow Graph进行profile并了解各个op的耗时情况对于程序性能的提升非常有用。TensorFlow程序的profile可以通过tensorflow的timeline模块完成。但我找不到关于其的好教程。所以在这篇博文中，我将尝试按以下主题来介绍tensorflow程序的profile：如何对TensorFlow程序进行p...

2018-09-25 21:23:57 4090

原创目标检测之 IoU

IoU 作为目标检测算法性能 mAP 计算的一个非常重要的函数。但纵观 IoU 计算的介绍知识，都是直接给出代码，给出计算方法，没有人彻底地分析过其中的逻辑，故本人书写该篇博客来介绍下其中的逻辑。IoU 的全称为交并比（Intersection over Union），通过这个名称我们大概可以猜到 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。...

2018-09-24 15:09:07 144382 47

翻译 TensorFlow程序分析及调优

TensorFlow程序的分析及建议参考文档：https://github.com/tensorflow/tensorflow/blob/r1.11/tensorflow/core/profiler/README.md特性简单教程示例特性：分析模型架构。参数量、tensor的shape、浮点运算数、运算设备等。分析多step模型的性能。execution time, ...

2018-09-22 13:31:40 5138 1

原创 TensorFlow 1.11.0 主要更新

TensorFlow 1.11.0 主要更新TensorFlow 1.11.0 更新总结：为tf.keras添加multi-GPU分布式支持，fit，evaluate，predict开始支持分布式。为Estimator添加multi-worker分布式策略及独立的客户端支持。tf.keras的 Initializers 的默认参数发生了改变。Sequential 模型的 model...

2018-09-19 17:26:51 2826

原创 TensorFlow Estimator 教程之----快速入门

本篇将介绍 TensorFlow 中的 Estimators ———- 一个可以极大地简化机器学习编程的高级别 API。Estimators 中封装了以下几部分：训练（training）评估（evaluation）预测（prediction）输出模型（export for serving）我们既可以使用内置 Estimator，也可以编写自定义 Estimator。注意...

2018-09-04 18:51:33 17926 7

原创 TensorFlow Eager 官方教程 * * * * *

TensorFlow 的 eager execution 是一个即时运行环境。在该模式下，op 在定义时即时运行（eager 模式下，op 返回具体值，而不是图节点）。Eager 模式使得 TensorFlow 的使用和调试变得简单。为了真实地感受 Eager 模式的魅力，推荐大家在交互式 python 解释器中运行本文的代码。Eager execution 是进行机器学习研究、实验的一个灵活...

2018-09-03 17:14:21 4747

原创目标检测模型的评价指标 mAP

在使用机器学习解决实际问题时，通常有很多模型可用。每个模型都有自己的怪癖（quirks），并且基于各种因素，性能会有所不同。模型性能的评定都是在某个数据集上进行的，通常这个数据集被称为 “validation 或 test” 数据集。模型性能的评价常用的指标有：accuracy、precision、recall等。这些指标的选择需要根据应用场景具体而定。对于特定应用，使用合适的评价指标来客观地...

2018-09-02 16:51:16 7892 7

原创 Matlab 绘制双纵轴图

Matlab 作为比较常用的一种科学计算语言，其强大的绘图功能是很多软件所不能比拟的。在众多种类的图中，双纵轴图是比较常见的一种图，但网上的众多教程老旧，程序复杂，因此本篇特此来介绍下 Matlab 中双纵轴图的绘制方法。在 Matlab 中，绘制双纵轴图有两种方法：方法一：yyaxis 命令 [link] &amp;amp;amp;amp;amp;lt;&amp;amp;amp;amp;amp;lt;&amp;amp;amp;am

2018-08-31 14:28:27 91918 6

原创 Word 特殊符号的插入

在 Word 文档的排版中，有很多常用的特殊符号，下面将简介各种符号的插入方法：插入方法主要分为三种：插入(Insert) &amp;amp;amp;amp;gt; 符号(Symbol)开始(Home) &amp;amp;amp;amp;gt; 指定字体，输入符号根据Unicode编码输入符号1. 插入(Insert) &amp;amp;amp;amp;gt; 符号(Symbol)2. 开始(Home) &amp;a

2018-08-29 17:01:48 7413

原创使用卷积神经网络进行专家级别的心率不齐检测

使用卷积神经网络进行心率不齐检测（专家级别）：Cardiologist-Level Arrhythmia Detection with Convolutional Neural Networks摘要：我们开发了一种能够检测多种心率不齐的算法（基于穿戴式心电图监测器采集的信号），该算法的性能超过了心脏病医师。我们构建了的数据集比前人大500倍。在此数据集上，我们训练了一个34层的卷积神经网络...

2018-08-09 12:18:01 4922 6

原创 TensorFlow：怎么替换或者修改梯度？

问题我想要去替换或修改 TensorFlow 中一个 op 或部分计算图的梯度，该怎么整？在某些情况下，这和 tf.stop_gradient() 是相对的：我们想要的不是“添加一个 op，然后在计算梯度的过程中忽略该 op”，我们想要的是“只在梯度计算时起作用（I want a calculation which is only used when calculating gradie...

2018-08-03 01:11:03 4987 3

转载 Markdown语法图文全面详解(10分钟学会)

转自【码个蛋微信公众号】，感兴趣的同学可以添加码个蛋微信公众号。前言写过博客或者github上面的文档的，应该知道Markdown语法的重要性，不知道的朋友们也别着急，一篇博文轻松搞定Markdown语法。话说这个语法超级简单，一看就会，不信你点进来看看。快捷键功能快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 ...

2018-08-02 17:10:27 308973 57

翻译 TensorFlow 1.10.0版本更新

Release 1.10.0主要特征及提高tf.lite 开始支持 complex64。Initial Bigtable integration for tf.data.Improved local run behavior in tf.estimator.train_and_evaluate which does not reload checkpoints for evalu...

2018-07-30 17:28:05 7250

原创 TensorFlow 历史版本 API

TensorFlow 各个版本的 API 查询地址TensorFlow 1.9 APITensorFlow 1.8 APITensorFlow 1.7 APITensorFlow 1.6 APITensorFlow 1.5 APITensorFlow 1.4 APITensorFlow 1.3 APITensorFlow 1.2 APITensorFlow 1.1 APIT...

2018-07-24 22:21:03 9048

原创 TensorFlow Keras 官方教程 * * * * *

Keras 简介Keras 是建立和训练深度学习模型的高级 API。它被用于快速原型、高级研究和生产。Keras 具有三个主要优点：用户友好Keras API 简单、稳定、容易调试。高度模块化Keras API 可以像搭积木一样来构建深度学习系统。易于扩展可以很容易地实现研究过程中的各种新奇想法。比如：创建新层、新的损失函数、提升state of art 模型的性能等。...

2018-07-17 22:13:26 16083