
tensorflow
文章平均质量分 67
javastart
专注于大数据 AI
展开
-
Keras中的顺序模型Sequential和函数式模型Model
文章目录使用函数式模型构建复杂网络1、加宽网络(输入、输出不变)1.1、完整代码:2、多个输入层2.2、完整代码3、多个输出层3.3 完整代码。转载 2023-01-06 11:01:15 · 947 阅读 · 0 评论 -
tensorflow利用for循环进行知识蒸馏训练遇到的内存爆炸问题(OOM)
最近在用tensorflow学习模型的知识蒸馏,自己基于cifar10数据集训练得到的teacher模型,在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后,得到的实验结果均与论文结果相反(论文:Distilling the Knowledge in a Neural Network)与上面代码内容基本相同,只是将Thread换成Process,然后把需要的参数都传入Process的args中即可。,之后发现果然有效,很多无用的信息都不再输出。原创 2022-12-09 10:31:52 · 1435 阅读 · 0 评论 -
2022 Google 开发者大会-视频及深度学习视频
2022 Google 开发者大会原创 2022-12-06 11:47:27 · 146 阅读 · 0 评论 -
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
本文代码、及测试图片在公众号 datadw 里 回复图片分类 即可获取。我们一般用深度学习做图片分类的入门教材都是MNIST或者CIFAR-10,因为数据都是别人准备好的,有的甚至是一个函数就把所有数据都load进来了,所以跑起来都很简单,但是跑完了,好像自己还没掌握图片分类的完整流程,因为他们没有经历数据处理的阶段,所以谈不上走过一遍深度学习的分类实现过程。今天我想给大家分享两个比较贴近实际的分类项目,从数据分析和处理说起,以Keras为工具,彻底掌握图像分类任务。这两个分类...原创 2020-12-06 23:35:04 · 919 阅读 · 1 评论 -
tensorflow的pb文件转化为pbtxt
import tensorflow as tf from tensorflow.python.platform import gfile #函数功能能,将pb模型转换为pbtxt,转换好后存储到当前目录下,模型名字是protobuf.pbtxt def convert_pb_to_pbtxt(filename): with gfile.FastGFile(filename, 'rb') as f: graph_def = tf.Grap...转载 2020-09-13 14:39:19 · 3002 阅读 · 2 评论 -
关于tensorflow模型保存几种格式
ckpt常规模型保存,模型结构,数据,运算图分开保存。常用在训练阶段使用。h5keras前端保存的模型格式,有两种,纯数据和数据+网络结构,可以被tf调用。可以用软件查看内部数据,并进行修改。pb用于移动端端/server端都有使用,包括结构+数据,不可以修改内部,也就是为什么叫做凝固图了。可以做量化模型处理,目前只支持int8和float16两种格式量化。pbtxtpb的扩展格式,可以被修改内容,用记事本就可以修改。tflite一种实验的数据格式,也叫轻量化模型,多用.转载 2020-07-04 15:52:09 · 1828 阅读 · 0 评论 -
2020 年 TensorFlow 开发者峰会总结
感谢各位来参加我们 2020 年的 TensorFlow 开发者峰会的线上直播!虽然我们无法在现场与您相见,但我们希望今年的活动比以往更易参与。我们在本次大会中介绍了产品的很多更新与发布,让我们在本文中与大家回顾一下。当然,想要深入了解,请记得回看主题演讲的录播,以及我们的其他主题(见文末),同传版本已上传至 Bilibili.com 的 ‘Google中国’频道。...转载 2020-04-25 09:15:26 · 399 阅读 · 0 评论 -
2020 年 TensorFlow 开发者峰会总结
感谢各位来参加我们 2020 年的 TensorFlow 开发者峰会的线上直播!虽然我们无法在现场与您相见,但我们希望今年的活动比以往更易参与。我们在本次大会中介绍了产品的很多更新与发布,让我们在本文中与大家回顾一下。当然,想要深入了解,请记得回看主题演讲的录播,以及我们的其他主题(见文末),同传版本已上传至 Bilibili.com 的 ‘Google中国’频道。 ...转载 2020-04-19 15:46:50 · 941 阅读 · 1 评论 -
TensorFlow 2.0 正式版现已发布
今年初,我们在 TensorFlow 开发者大会 (TensorFlow Dev Summit) 上发布了 TensorFlow 2.0 的 Alpha 版本。经过近 7 个月的努力,今天我们高兴的宣布,TensorFlow 2.0 正式版现已推出! 注:TensorFlow 开发者大会 链接 https://tensorflow.google.cn/de...转载 2020-04-19 10:57:13 · 612 阅读 · 0 评论 -
tensorflow LSTM+CTC实现端到端的不定长数字串识别
12017.08.22 12:01:17字数 1,677阅读 43,984上一篇文章tensorflow 实现端到端的OCR:二代身份证号识别实现了定长18位数字串的识别,并最终达到了98%的准确率。但是实际应用场景中,常常需要面对无法确定字串长度的情况,这时候除了需要对识别字符模型参数进行训练外,还需要对字符划分模型进行训练,本文实现了上文提到的方法2,使用LSTM+CTC识别不定长...转载 2020-04-04 09:12:57 · 696 阅读 · 1 评论 -
keras-yolov3目标检测详解——适合新手
展开现在网上能找到的博客我现在看起来很明白,虽然讲的很详细,但是对于几天前的我真的看不明白,因为新手会遇到各种各样毫无征兆的问题,所以我决定写一篇面向新手的如何去使用 yolo 和如何去做自己的数据集来训练属于自己的模型。因为我也是新手,所以不说原理,只谈操作方法。因为东西很杂,我会把小东西分出去写,并且在本文中附上链接。一、准备工作1、事件前言:简单介绍下情况,本人本科二年级,机...转载 2020-03-24 12:50:27 · 2805 阅读 · 1 评论 -
tensorflow hub 镜像网址(国内访问地址)
https://hub.tensorflow.google.cn/原创 2020-03-22 15:05:13 · 4166 阅读 · 0 评论 -
Tensorflow 模型文件的使用以及格式转换-OpenCV DNN 可调用格式(一)
主要前几天看到集成opencv,发现前面的方式比较麻烦,现在就找资料研究,发现这个方式非常不错。展开Tensorflow模型的graph结构可以保存为.pb文件或者.pbtxt文件,或者.meta文件,其中只有.pbtxt文件是可读的。网上大牛们训练好的网络,将模型保存为一个统一的.pb文件,这个文件中不止保存着模型网络的结构和变量名,还保存了所有变量的值,如果我们想利用别人训练好的模...原创 2020-03-08 22:06:03 · 1185 阅读 · 0 评论 -
OpenCV DNN 调用用TensorFlow 目标检测模型
首页 正文在 OpenCV4.X 版本(OpenCV3.4.1之后版本) 可以采用cv2.dnn.readNetFromTensorflow(pbmodel, pbtxt)函数直接调用 TensorFlow 训练的目标检测模型.1. TensorFlow Detection Model ZooTensorFlow 目标检测预训练模型:Tensorflow Detectio...原创 2020-03-06 17:31:31 · 3473 阅读 · 0 评论 -
利用多 GPU 加速深度学习模型训练
01—前言深度学习模型通常使用 GPU 训练,因为 GPU 具有相比 CPU 更高的计算能力,以 Tesla V100 为例,使用 Tensor Core 加速的半精度浮点计算能力达到 125 TFLOPS【1】,配有 V100 GPU 的单个服务器节点最多可替代 60 个 CPU 节点,正如每年 GTC Keynote 上黄仁勋宣称的“The more you buy, ...转载 2020-02-26 20:35:36 · 4679 阅读 · 0 评论 -
Keras手写数字识别-ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接
参考: 台大李宏毅老师视频课程-Keras-Demo 调参博文1:深度学习入门实践_十行搭建手写数字识别神经网络 调参博文2:手写数字识别---demo(有小错误) 编程环境: 操作系统:win7 - CPU anaconda-Python3-jupyter notebook tersonFlow:1.10.0 Keras:2.2....原创 2019-12-14 18:00:43 · 1370 阅读 · 0 评论 -
Tensorflow 2.0历史最全资源中文版整理分享-教程、博客、代码和视频教程
本文整理了Tensorflow 2.x相关的教程、博客、代码和视频教程,最新的的书籍等丰富的资源,分享给大家。资源整理自网络,源地址:https://github.com/Amin-Tgz/awesome-tensorflow-2#books本资源带链接版下载方式:链接: https://pan.baidu.com/s/10AaNDkep...转载 2019-12-02 08:52:19 · 781 阅读 · 0 评论 -
RPN 解析
RPN全称是Region Proposal Network,RegionProposal的中文意思是“区域选取”,也就是“提取候选框”的意思,所以RPN就是用来提取候选框的网络;1. RPN的意义RPN第一次出现在世人眼中是在Faster RCNN这个结构中,专门用来提取候选框,在RCNN和Fast RCNN等物体检测架构中,用来提取候选框的方法通常是Selective Se...转载 2019-10-12 18:24:10 · 937 阅读 · 1 评论 -
升级到tensorflow2.0,我整个人都不好了
版本升级到 tensorflow 2.0的悲惨经历.....没事别升级Tensorflow 2.0发布已经有一段时间了,各种基于新API的教程看上去的确简单易用,一个简单的mnist手写识别只需要下面不到20行代码就OK了,import tensorflow as tfmnist = tf.keras.datasets.mnist(x_train, y_tr...转载 2019-10-12 17:59:54 · 48006 阅读 · 44 评论 -
【AI实战】手把手教你深度学习文字识别(文字检测篇:基于MSER, CTPN, SegLink, EAST等方法)...
文字检测是文字识别过程中的一个非常重要的环节,文字检测的主要目标是将图片中的文字区域位置检测出来,以便于进行后面的文字识别,只有找到了文本所在区域,才能对其内容进行识别。文字检测的场景主要分为两种,一种是简单场景,另一种是复杂场景。其中,简单场景的文字检测较为简单,例如像书本扫描、屏幕截图、或者清晰度高、规整的照片等;而复杂场景,主要是指自然场景,情况比较复杂,例如像街边的广告牌、产...转载 2019-08-11 09:19:05 · 1810 阅读 · 0 评论 -
深入浅出了解OCR识别票据原理
译者:Mr.Geek本文翻译自dzone中Ivan Ozhiganov所发文章Deep Dive Into OCR for Receipt Recognition文中版权、图像代码等数据均归作者所有。为了本土化,翻译内容略作修改。光学字符识别技术(OCR)目前被广泛利用在手写识别、打印识别及文本图像识别等相关领域。小到文档识别、银行卡身份证识别,大到广告、海报。因为OCR技术的发...转载 2019-07-21 09:55:03 · 625 阅读 · 0 评论 -
tensorflow LSTM+CTC实现端到端的不定长数字串识别
上一篇文章tensorflow 实现端到端的OCR:二代身份证号识别实现了定长18位数字串的识别,并最终达到了98%的准确率。但是实际应用场景中,常常需要面对无法确定字串长度的情况,这时候除了需要对识别字符模型参数进行训练外,还需要对字符划分模型进行训练,本文实现了上文提到的方法2,使用LSTM+CTC识别不定长的数字串。环境依赖环境依赖与上一篇基本一致知识准备 LSTM...转载 2019-07-20 13:31:44 · 1398 阅读 · 0 评论 -
Java调用Keras、Tensorflow模型
实现python离线训练模型,Java在线预测部署。查看原文目前深度学习主流使用python训练自己的模型,有非常多的框架提供了能快速搭建神经网络的功能,其中Keras提供了high-level的语法,底层可以使用tensorflow或者theano。但是有很多公司后台应用是用Java开发的,如果用python提供HTTP接口,对业务延迟要求比较高的话,仍然会有一定得延迟,所以能...转载 2018-11-07 17:32:18 · 3770 阅读 · 0 评论 -
AI实战】手把手教你文字识别(检测篇二:AdvancedEAST、PixelLink方法)
感觉作者非常不错,把自己的东西奉献出来,大家可以自学,另外自学困难可以找原创作者自然场景下的文字检测是深度学习的重要应用,在之前的文章中已经介绍过了在简单场景、复杂场景下的文字检测方法,包括MSER+NMS、CTPN、SegLink、EAST等方法,详见文章:【AI实战】手把手教你文字识别(检测篇一: MSER、CTPN、SegLink、EAST方法)今天将继续介绍复...转载 2019-08-11 09:33:17 · 2241 阅读 · 1 评论 -
八章:GAN和DCGAN入门
GAN的全称为Generative Adversarial Networks,意为对抗生成网络。原始的GAN是一种无监督学习方法,它巧妙地利用“对抗”的思想来学习生成式模型,一旦训练完成后可以生成全新的数据样本。DCGAN将GAN的概念扩展到卷积神经网络中,可以生成质量较高的图片样本。GAN和DCGAN在各个领域都有广泛的应用,这篇文章首先会介绍他们的原理,再介绍如何在TensorFlow中...原创 2019-09-22 17:56:22 · 1635 阅读 · 2 评论 -
TensorFlow 2.0正式版官宣!深度集成Keras
【新智元导读】TensorFlow 2.0正式版终于发布了!深度集成Keras,更简单、更易用,GPU训练性能提升。这是一个革命性的新版本,欢迎来到 TensorFlow 2.0!>>>人工智能改变中国,我们还要跨越这三座大山 | 献礼 70 周年TensorFlow 2.0正式版终于发布了!谷歌今天宣布,开源机器学习库TensorFlow 2.0现在可供公众使...转载 2019-10-06 12:45:06 · 865 阅读 · 1 评论 -
简单粗暴上手TensorFlow 2.0,北大学霸力作,必须人手一册
【导读】 TensorFlow 2.0 于近期正式发布后,立即受到学术界与科研界的广泛关注与好评。此前,AI 科技大本营曾特邀专家回顾了 TensorFlow 2.0 从初版到最新版本的发展史。今天,我们将介绍一本全面详解 TensorFlow 2.0 的手册。这本手册是 Google Summer of Code 2019 项目之一,从基础安装与环境配置、部署,到大规模训练与加速、扩...转载 2019-10-09 17:37:30 · 6113 阅读 · 0 评论 -
模型做8位(uint8)量化提升Tensorflow对训练后的模型性能
最近看到一个巨牛的人工智能教程,分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。平时碎片时间可以当小说看,【点这里可以去膜拜一下大神的“小说”】。1 量化为PB格式模型从官方提供的tensorflow版本与编译工具版本中选择bazel版本下载,各个版本的Tensorflow与各个编译环境映射表如下。版本 Python ...转载 2019-10-10 12:49:29 · 1586 阅读 · 0 评论 -
TensorFlow Lite + OpenCV 实现移动端水印的检测与去除
概要:本篇文章介绍了TensorFlow Lite与OpenCV配合使用的一个应用场景,并详细介绍了其中用到的SSD模型从训练到端上使用的整个链路流程。在APP中的使用场景为,用户在发布图片时,在端上实现水印的检测和定位,并提供去水印的功能。具体步骤有:1,使用TensorFlow Object Detection API进行SSD模型的训练2,模型的优化和转换,模型在端上的解析使用(...转载 2019-06-04 19:53:16 · 2069 阅读 · 0 评论 -
深度学习与计算机视觉:实例入门-第六章
给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV《深度学习与计算机视觉》全书网址:https://frombeijingwithlove.github.io…本篇原网址:https://zhuanlan.zhihu.com/p/24425116本篇是前面两篇教程:给深度学习入门者的Python快速教程 - 基础篇给深度学习入门者的Python快...原创 2019-04-03 12:41:58 · 1232 阅读 · 0 评论 -
TensorFlow练习6: 基于WiFi指纹的室内定位(autoencoder)
本帖基于论文:Low-effort place recognition with WiFi fingerprints using Deep Learning室内定位有很多种方式,利用WiFi指纹就是是其中的一种。在室内,可以通过WiFi信号强度来确定移动设备的大致位置,参看:https://www.zhihu.com/question/20593603。使用WiFi指纹定位的简要流程...转载 2019-04-04 12:38:35 · 8517 阅读 · 3 评论 -
分布式TensorFlow入门教程
前 言深度学习在各个领域实现突破的一部分原因是我们使用了更多的数据(大数据)来训练更复杂的模型(深度神经网络),并且可以利用一些高性能并行计算设备如GPU和FPGA来加速模型训练。但是有时候,模型之大或者训练数据量之多可能超出我们的想象,这个时候就需要分布式训练系统,利用分布式系统我们可以训练更加复杂的模型(单机无法装载),还可以加速我们的训练过程,这对于研究者实现模型的超参数优化是非...转载 2019-01-01 18:26:20 · 593 阅读 · 1 评论 -
tensorflow 分布式 数据并行 同步训练 between-graph 实例 (1)
#coding=utf-8 #python example.py --ps_hosts=127.0.0.1:2222 --worker_hosts=127.0.0.1:2224,127.0.0.1:2225 --job_name=ps --task_index=0 --issync=1#python example.py --ps_hosts=127.0.0.1:2222 --worker_...转载 2019-01-10 14:38:03 · 619 阅读 · 0 评论 -
Tensorflow基础知识---训练样本的batch_size数据的准备
写在前面在深度学习中除了模型最重要之外,数据更为重要,数据格式是模型输入的第一步,这里暂时只讨论batch_size的含义,如何准备batch_size的训练集数据,并不去过多的讨论如何batch_size的大小对学习效果的影响。batch_size准备batch_size的数据的原因主要是训练集在执行反向传播时需要用到梯度下降算法,使用所有样本进行训练的时候,会使得训练的时间复杂度大...转载 2018-11-14 13:34:25 · 10756 阅读 · 0 评论 -
资源 | HiddenLayer:可视化PyTorch、TensorFlow神经网络图的轻量级工具!
本文介绍了一个面向 PyTorch 和 TensorFlow 神经网络计算图和训练度量(metric)的轻量级库——HiddenLayer,它适用于快速实验,且与 Jupyter Notebook 兼容。 GitHub链接:https://github.com/waleedka/hiddenlayer HiddenLayer 非常简单,易于扩展,且与 Jupyter No...转载 2018-11-08 20:00:59 · 3315 阅读 · 1 评论 -
[AI开发]Python+Tensorflow打造自己的计算机视觉API服务
"与其停留在概念理论层面,不如动手去实现一个简单demo 。" ——鲁迅没有源码都是耍流氓github前言目前提供AI开发相关API接口的公司有很多,国外如微软、谷歌,国内的百度、腾讯等都有开放API接口。开发者只需要调用相关接口,几步就能开发出一个“智能APP”。通常情况AI接口有以下几类:计算机视觉 图像分类、图像目标检测以及视频检测跟踪等等。这类...转载 2018-11-11 19:06:18 · 762 阅读 · 0 评论 -
模型上线和pmml简介
目前存在的几种模型上线的方式1、R+pmml+spark+airflow调度 其他团队用R语言训练模型并转为pmml文件,然后我们使用spark将这个pmml文件封装为jar,使用airflow提交到yarn。 val is: InputStream = fs.open(path)val pmml: PMML = PMMLUtil.unmarshal(is)modelEvaluator...转载 2018-11-07 19:33:21 · 7425 阅读 · 0 评论 -
【TensorFlow | TensorBoard】理解 TensorBoard
TensorBoard 是用于可视化 TensorFlow 模型的训练过程的工具(the flow of tensors),在你安装 TensorFlow 的时候就已经安装了 TensorBoard。我在前面的 【TensorFlow】TensorFlow 的卷积神经网络 CNN - TensorBoard版 和 【Python | TensorBoard】用 PCA 可视化 MNIST 手...转载 2018-10-30 16:58:11 · 1344 阅读 · 2 评论 -
TensorBoard 简介及使用流程
一、TensorBoard 简介及使用流程1、TensoBoard 简介TensorBoard 和 TensorFLow 程序跑在不同的进程中,TensorBoard 会自动读取最新的 TensorFlow 日志文件,并呈现当前 TensorFLow 程序运行的最新状态。2、TensorBoard 使用流程添加记录节点:tf.summary.scalar/image/hist...转载 2018-10-31 17:10:23 · 7920 阅读 · 1 评论 -
【TensorFlow | TensorBoard】理解 TensorBoard
https://blog.youkuaiyun.com/u010099080/article/details/77426577TensorBoard 是用于可视化 TensorFlow 模型的训练过程的工具(the flow of tensors),在你安装 TensorFlow 的时候就已经安装了 TensorBoard。我在前面的 【TensorFlow】TensorFlow 的卷积神经网络 ...转载 2018-10-31 16:45:45 · 1284 阅读 · 0 评论