darkeyers-优快云博客

原创 TensorFlow ValueError: Didn‘t find op for builtin opcode ‘RESIZE_BILINEAR‘ version ‘3‘

遇到上述问题，升级TF至2.3或以上版本

2021-06-04 10:18:27 1869

原创 Pytorch tochvision版本变化导致的ResNet FClayer的变化

两台深度学习环境的机器一台配备的是torchvision版本为0.3.0 另一台版本为0.2.1 同样的resnet代码出现了报错，显示FClayer的维度不匹配。查找原因如下：在0.2.1版本的resnet官方版本中对于avgpool Layer的定义如下： self.avgpool = nn.AvgPool2d(7, stride=1) k=7，s=1. 而0.3.0版本的定...

2019-12-17 15:29:11 594

原创 win10 使用Pyinstaller 打包TensorFlow问题以及解决方案

所有方法均经过实际测试，均解决问题。对应的环境和版本如下： OS环境：win10 python：3.5.4 tensorflow：1.8.0-gpu cuda：9.0 建议在使用Pyinstaller 的时候使用：pyinstaller -Dmyfile.py 这样的好处就是在真的出错的时候还有挽回的空间，比如添加或者覆盖DLL等，如果单独一个EXE没法再处理。 1 “imp...

2019-10-11 09:40:18 3516

原创 Pytorch 网络对输入图像要求固定大小的处理方法

对一些在ImageNet数据集上预训练的model，在分类的时候往往是使用的Fully Connected Layer，且往往是Linear（2048,1000）。而我们的测试图像往往不同于训练时候的224*224*3 ，那么经过以下方法的处理，可以经过网络处理。 import torch from torchvision import datasets, transforms import ...

2019-07-24 22:16:44 10113

原创【源码解读】Pytorch实现ResNet官方版

ResNet（残差神经网络），其重要性和对神经网络的提升不再赘述，详见论文，这里对ResNet在pytorch上实现进行解读。 resnet.py import torch.nn as nn import torch.utils.model_zoo as model_zoo 解读：写入必要的包，其中torch.nn 为其提供基础函数，model_zoo提供权重数据的下载。 __all_...

2019-05-23 20:45:17 8286 2

原创 C# Kafka获取Topic中最新消息的办法

在处理kafka消息的时候会遇到这种情况，想要仅获取最新的消息，旧消息不获取。苦于原API中无这种需求的示例，现就该需求参考GitHub以下改动。 1 NuGet管理Confluent.Kafka版本的问题，将版本更新至V1.0.0或以上。 2 编写函数如下：该函数用来接收最新消息，并且参数中的事件对拿到的最新消息进行处理。 /// <summary> /// 指定的组别的消费...

2019-05-14 22:16:05 3217

原创解决Python OpenCV 读取IP摄像头（RTSP等）出现error while decoding的问题

先来看一个简单的读取RTSP的示例程序 import cv2 cap=cv2.VideoCapture("rtsp://admin:admin_123@172.0.0.0") ret,frame = cap.read() while ret: ret,frame = cap.read() cv2.imshow("frame",frame) if cv2.waitKey...

2018-12-06 21:49:51 38554 36

原创 Win10 环境搭建Spark streaming 将Kafka数据作为输入源

【Hadoop】首先搭建Hadoop平台，这里我选择的版本是2.6.4，具体部署步骤我参考了这一篇博客。但是其中的配置文件有所更改： G:\Spark\hadoop\hadoop-2.6.4\hadoop-2.6.4\etc\hadoop\core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-style...

2018-11-08 10:13:35 649

原创 Win10 环境python-Kafka中文乱码问题解决

Kafka为了保证传输效率，消息传输使用二进制传输，而支持中文的使用最广泛的编码方式为UTF-8。因此解决这个问题的思路如下：在productor中使用UTF-8的方式编码，在consumer中使用UTF-8解码。示例如下： 1 productor：在代码最前端加入编码声明 # -*- coding: utf-8 -*- PS：在这里要对kafka的异步机制提出一点异议：在同一个大...

2018-09-27 15:47:13 5676

原创 Win10 虚拟机环境配置Kafka服务器出错对应解决方法

Error while fetching metadata with correlation id 4192 : {testXX=LEADER_NOT_AVAILABLE} kafka在虚拟机配置环境中经常会出现类似于这个问题 eg：9092端口，原因很简单：该端口在该服务器上不存在具体步骤如下： 1 打开系统防火墙-高级设置 2 在高级设置中选择入站规则 3 选择新建规则...

2018-09-25 15:02:26 674

原创 Tensorflow识别视频数据并保存导出

思路和识别图像其实类似。使用OpenCV，将视频数据读入，逐帧读取视频数据，识别，识别完成的图像使用OpenCV中VidoWriter写入新视频。注意：在使用OpenCV前确认其版本，版本不同其API会略有改变。详见：OpenCVAPI官网我这边使用的读取视频和识别的循环如下： cap = cv2.VideoCapture("Ped2.mp4")#读取视频 fps = in...

2018-07-31 22:05:05 2928 3

原创 C# NewtonJson 使用技巧

Class序列化成Json我就不做介绍了，很简单一句话的事。主要介绍的是拿到任意一个Json字符串，怎么转换成C#的类。 1 首先在JSON Edit Online 这个网站上JsonEditOnline 输入Json字符串，如果成功解析就可以得出对应的类的层次关系。例如这样的类就可以定义成这样的形...

2018-07-17 11:36:02 14489

原创 ArcEngine10.2+ArcGisRuntime for WPF+VS2017

最近做个可视化项目，从MDB中读取空间数据约10W条几何信息进行展示，由于AE的无法加载正射影像底图的老毛病，所以选择了RunTime。但是这个系统有个矛盾的地方：要使用AE读取MDB中的数据。但是由于AE是32位的，如果生成32位程序在加载显示的时候程序会超过1G的上限直接崩溃。所以使用VC++2017来进行编译，AnyCPU的X32程序，可以达到1.4G还不崩溃。就是部署的时候有点麻烦，要装R...

2018-07-12 21:09:20 2163

原创 Tensorflow学习笔记——ObjectDetectionAPI学习使用

写在前面：在开始ObjDetectionAPI学习之前请确认几个事情。1、识别机器是否可以正常跑Tensorflow1.4版本以上的Demo （即jupyter notebook中那个RunAll的Demo）吐槽一下：Demo中在每一次识别前都要下载对应的模型，而已经下载以后再重新下载就会报错（Python2.7）。2、识别机器是Tensorflow-gpu版。当然如果偏要用CPU去跑也可以只不...

2018-07-12 20:52:01 793

原创 ArcGIS Runtime 添加谷歌地图、OpenStreetMap作为底图

ArcGIS 自从发布Runtime以来一直以Web+C/S的模式，慢慢挑战着AE/AO的江湖地位。其可以添加Web底图的方法更是其杀手锏。现在就分享ArcGIS Runtime中添加Google底图的方法。开门见山，直接写出其最关键的类，自定义的一个类GoogleTileLayerpublic class GoogleTileLayer : ServiceImageTiledLayer ...

2018-07-05 22:13:04 5609 3

原创 Centos7 重装英伟达显卡驱动+Cuda9.0+Cudnn7

机房断电导致已经配置好的Centos7深度学习机器突然运行不了Tensorflow。并且出现以下情况，运行nvidia-smi 显示貌似没有问题。但是其实在运行深度学习框架的时候运行不了。估计是显卡驱动坏了。重装吧。首先卸载显卡驱动。目前我知道的显卡驱动安装方式有三种1、CUDA（.run）下载以后安装带上显卡驱动；2、显卡驱动.run文件安装3、集成软件包安装（yum等）接下来介绍后两种安装方式...

2018-05-08 10:52:41 22603

darkeyers的博客