xinneya的博客

转载 将数据集分为训练集和验证集存放在新的文件夹中

import osimport randomfrom PIL import Imagefile_name = os.listdir('data/widerface/train/images') # file_name是个列表，用来装images目录下的文件名if not os.path.exists('image'): os.mkdir('image') # 创建一个我们要存放分类好的数据文件夹s = ['train','val']for j in s: for i .

转载 在vscode中更改anaconda运行环境

在vscode中更改anaconda运行环境快捷键ctrl+p，在弹出的框框中，输入>select interpreter来选择相应的Anaconda环境即可。

转载 导入tensorflow.出现importError: DLL load failed: 找不到指定的模块

解决办法：https://blog.youkuaiyun.com/sereasuesue/article/details/105327611

原创 mysql（闪一下就退）run.bat

找到my.ini将里面的路径改为F盘（我是从D盘直接拷贝过来的，所以路径有问题）

转载 启动tomact

问题 ： 启动tomcat提示错误：Could not delete F:/workspace/.metadata/.plugins/org.eclipse.wst.server.core/tmp0/wtpwebapps/platform/WEB-INF/lib. May be locked by another process.解决：右键 tomcat clean

转载 eclipse中怎么查看代码行数

今天完成了一个项目，突然想查看一下自己究竟写了多少行代码，一时半会儿想不起怎么查，仔细回想后搞定！第一步： 点击seacrh中的file第二步：进入过后，Containing text一栏中 输入\n 并勾选右边Regular expressionfile name patterns 一栏中输入 *.java勾选Scope中的 Enclosing project第三部: 点击右下方search按钮完成过后，在服务台中就可以看到项目一共有多少行代码，同时也能看到每一个包下面的代码行数...

转载 运行eclipse启动项目时 报错：An internal error occurred during: “Initializing Java Tooling“.

运行eclipse启动项目时报错：An internal error occurred during: "Initializing Java Tooling".解决方法：操作：1.eclipse ->windows ->Perspactive -> Reset perspactive 重置eclipse 页面 即可解决

转载 什么是非极大值抑制（NMS）

解析：R-CNN会从一张图片中找出n个可能是物体的矩形框，然后为每个矩形框为做类别分类概率：就像上面的图片一样，定位一个车辆，最后算法就找出了一堆的方框，我们需要判别哪些矩形框是没用的。非极大值抑制的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于车辆的概率 分别为A、B、C、D、E、F。(1)从最大概率矩形框F开始，分别判断A~E与F的重叠度IOU是否大于某个设定的阈值;(2)假设B、D与F的重叠度超过阈值，那么就扔掉B、D；并标记第一个矩形框F，是我们保

转载 什么是边框回归Bounding-Box regression，以及为什么要做、怎么做

解析：这个问题可以牵扯出不少问题，比如为什么要边框回归？什么是边框回归？边框回归怎么做的？边框回归为什么宽高，坐标会设计这种形式？为什么边框回归只能微调，在离真实值Ground Truth近的时候才能生效？如图1所示，绿色的框表示真实值Ground Truth, 红色的框为Selective Search提取的候选区域/框Region Proposal。那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU<0.5)， 这张图也相当于没有正确的检测出飞机。如果

转载 目标检测中的这个IOU评价函数（intersection-over-union）

本题解析来源：https://blog.youkuaiyun.com/Eddy_zheng/article/details/52126641，https://www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/，https://zhuanlan.zhihu.com/p/37910324解析一在目标检测的评价体系中，有一个参数叫做 IoU ，简单来讲就是模型产生的目标窗口和原来标记窗口的交叠率。具体我..

转载 一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD

转自：https://blog.youkuaiyun.com/v_july_v/article/details/80170182?from=timeline一、目标检测常见算法object detection，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。所以，object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。目前

转载 什么是SVM?

什么是SVM?当然首先看一下wiki.Support Vector Machines are learning models used for classification: which individuals in a population belong where? So… how do SVM and the mysterious “kernel” work?好吧，故事是这样子的：在很久以前的情人节，大侠要去救他的爱人，但魔鬼和他玩了一个游戏。魔鬼在桌子上似乎有规律放了两种颜色的球，说

转载 目标检测领域还有什么可做的？19 个方向给你建议

知乎问题：目标检测领域还有什么可以做的？感觉已经饱和了，很难再出顶级算法的样子。我所指的饱和是说围绕目标检测感觉没有什么好文章能发出来了，现有算法很难在短时间有突破了。想请教大家有什么好做的点子么？种树的左耳答案饱和是相对于占坑来说的，对于去探索未来踩坑来说，目标检测还远远没有达到饱和的地步。只是说想发简单的好论文越来越难了，并不是说不会有什么突破了。单就检测来说，2018年顶会出的目标检测论文也并不算少。下面是我个人就目标检测算法在深度学习领域未来研究的一些看法：1.从专注精度的Fast

转载 xshell6和xftp6连接Ubuntu18.04服务器

xftp6:cd /etc/vsftpd/ #如果没有这个文件夹，就安装vsftpd服务sudo apt install vsftpd 安装服务service vsftpd status 查看服务状态 ，如果没有开启需要开启service vsftpd start 开启服务【使用的是FTP模式】控制面板—程序—打开或关闭windows功能—找到Internet information service——打开该选项卡——选中（打开）FTP服务器相关功能（包含FTP扩展）检查完毕，连接就可以

转载 Ubuntu无法查看ip（ifconfig）

出现的提示：我们根据提示添加net-tools包,使他能够查询本机ip使用命令:sudo apt install net-tools然后就安装完成,使用命令:ifconfig就可以查看主机的一些信息了

翻译 vivado hls ----接口综合

一. 基本介绍接口综合的结果有两种类型的接口：Block-level interface protocol和Port-level interface protocol。1. Block-level interface protocolBlock-level interface protocol这部分接口信号控制整个模块，它是独立于模块的输入输出信号的；它一定是作用于函数或者函数的返回值。其中有三种类型的protocol：ap_ctrl_hs、ap_ctrl_none、ap_ctrl_cha

翻译 vivado hls的---------Test bench

一. C/C++ Test bench的基本架构Test bench是一个用来验证逻辑功能是否正确的虚拟坏境，由Driver/Stimulus（输入激励）、Reference Model（参考模型，其输出结果是正确结果）、DUT（待测模型，Design Under Test，我们需要综合的C函数）、Monitor（检测DUT的输出）、Scoreboard（将DUT的输出和参考模型的结果做对比）； C/C++ Test bench是为了验证我们所写的C/C++函数的正确性； 在HLS中还会复用C

翻译 如何处理任意精度的数据类型-数据类型的初始化、转换- 复合数据类型在HLS中的应用-Vivado HLS中的C++基本运算

一. 如何处理任意精度的数据类型C语言支持的数据类型有字符型、整型（有符号（signed可省略）和无符号（unsigned不可省略））、浮点型、boolean类型等的，需要注意的是char 16_t和char 30_t这两个数据类型在Vivado HLS中是不支持的； Vivado HLS继承了传统的C/C++包含的数据类型，包括char、short、int、float和double，又由于这些数据类型都是以8为边界的（8、16、32、64），有时候对于某些操作来说不够高...

转载 vivado hls工作机制、设计流程

CPU、GPU、DSP、FPGA之间的区别：https://blog.youkuaiyun.com/Qiuoooooo/article/details/81779583对于一个软件工程师，应该掌握的程度：1. FPGA内部每个单元的功能；2. 具体的算法操作和每个单元之间的对应关系；3. 算法模型中资源的利用率；4. 算法模型的优化方法；那么怎样能使得我们用C/C++转化成的HDL代码可以高效运行？”一. Vivado HLS的...

原创 P31 hadoop中的序列化机制

原创 yarn的job提交流程

1.在WCRunner.java中以下代码处打断点，进入waitForCompletion2.waitForCompletion在Job.class中3.4.5.6.7.8.9.10.11.12.13.14.15.16.17....

原创 yarn的通用性意义

yarn并不知道MR具体是怎么运行的，只负责启动MRAppMaster，这使yarn具有很好的通用性，扩大应用领域和生存周期，即使出了一个不同于MR的运算框架（如storm、spark），Hadoop也可以提供运算平台，有了hdfs和yarn，什么框架都畅通无阻运行海量批处理，mapreduce海量实时处理，spark海量流式处理，storm...

翻译 MR程序的几种提交运行模式

本地模式运行1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)（此处若想简写为wc/srcdata要将core-si...

原创 job提交的逻辑及YARN框架的技术机制

接下来再观察一遍这个过程运行wordcount程序即wc.jar为了便于观察再复制一个会话其中一个会话运行程序，另一个会话查看进程运行hadoop jar wc.jar cn.itcast.centosdvd.mr.wordcount.WCRunner的同时用jps查看进程1.起始进程2.3.3.4.5.6.7....

原创 HDFS架构以及namenode和secondarynamenode的工作机制以及查看DataNode分块情况等（早期笔记）

原创 给centos设置静态IP（命令行方法）（早期笔记）

原创 SSH 设置免密登录（每次启动start-dfs.sh等都是远程登录，都需要输入密码，这就是在解决这个问题）（早期笔记）

原创 centos伪分布式集群搭建（早期笔记）

本文只是记录一下之前的笔记。一、让普通用户具备sudo执行权限二、市Linux服务器在启动时不用默认启动图形界面三、改IP要重启network服务四、修改centos主机的名字为weekend110（默认是localhost）五、在centos中安装jdk六、配置jdk七、centos中安装Hadoop并配置环境八、关闭centos防火墙九、将Hadoop加入环...

原创 Linux删除文件

1、删除文件命令rm -f 文件名将会强行删除文件，且无提示2、删除文件夹以及文件夹中的所有文件命令：rm -rf 目录名字其中：-r：向下递归删除-f：直接强行删除，且没有任何提示注意：使用rm -rf要格外注意，linux中没有回收站，慎重操作。...

原创 MapReduce之wordcount（基本思想与简单编写提交集群执行）

MapReduce 是一种分布式编程模型，用来解决海量数据计算的问题。程序员使用它可以更关注业务逻辑的实现，而不需要花费大量精力在因分布式上运行而带来的问题。MapReduce 采用分治法的思想，把一个大的任务切分为很多小的任同时执行（Map 阶段），汇总所有的执行结果（Reduce 阶段）。用户以 kv 对的形式把数据提交给 map，map 处理完后以 kv 对的形式提交给 ...

原创 跟踪分析数据源码2

文章链接1：下载hdfs中的文件（原始写法）文章链接2：跟踪分析数据源码11.在以下代码处加断点FSDataInputStream in = fs.open(src);2.（1）此时进入open到FileSystem.class中 的open（即父类open），此函数中并没有做什么实质性的工作。此时再进入open是一个抽象函数（2）所以进入其实现方法Open ...

原创 跟踪分析数据源码

基于Hadoop3.2.1--------------------------------------------------------------------------------------------------利用之前的文章下载hdfs文件底层原始写法代码中，跟踪分析数据源码文章链接：下载hdfs中的文件（原始写法）1.首先在FileSystem fs=FileSystem...

转载 eclipse debug 无法调试

经常出现debug模式进入后，debug的几个按钮置灰，F5,6,8,没有任何反应时，这样操作：退出 Eclipse.打开 Eclipse 目录下的 configuration 下的 org.eclipse.osgi, 清空这个目录。启动 eclipse....

原创 下载hdfs中的文件（原始写法）

package cn.itcast.centosdvd.hdfs;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.h...

原创 RPC小demo

服务端：LoginServiceInterface.javapackage cn.itcast.centosdvd.rpc;public interface LoginServiceInterface { public static final long versionID=1L; public String login(String username,String passw...

原创 JAVA客户端编写

Windows下不配环境运行可能会报错，Linux下肯定能运行。package cn.itcast.centosdvd.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java...

原创 junit常用注解详细说明

Java注解（(Annotation）的使用方法是@注解名 ，能通过简单的词语来实现一些功能。在junit中常用的注解有@Test、@Ignore、@BeforeClass、@AfterClass、@Before、@After、@Runwith、@Parameters以下是相关的介绍和使用说明：一.@Test在junit3中，是通过对测试类和测试方法的命名来确定是否是...

原创 vi搜索字符串

1.命令模式下，输入：/然后输入字符串如搜索user, 输入/user按下回车之后，可以看到vim已经把光标移动到该字符处和高亮了匹配的字符串2.查看下一个匹配，按下n(小写n)3.跳转到上一个匹配，按下N（大写N）4.搜索后，我们打开别的文件，发现也被高亮了，怎么关闭高亮？ 命令模式下，输入:nohlsearch 也可以:setnohlsearch...

原创 Xftp出错

Xftp安装出错：找不到msi，可能由于之前版本没有卸载干净，找到目录中名字类似于{2D76AF66-6E44-4AD8-91B4-CBD509588E99}的文件夹，删除之

原创 小甲鱼Pygame84讲：基本图形绘制（总结笔记）

1.绘制矩形，使用 rect() 方法：pygame.draw.rect()rect(Surface, color, Rect, width = 0)在 Surface对象上绘制一个矩形，color 表示边框的颜色。Rect 参数指定矩形的位置和尺寸。width 参数指定边框的宽度，如果设置为 0 则表示填充该矩形。例如：import pygameimport sys...