- 博客(33)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 storm--拓扑
数据流组设计一个拓扑时，你要做的最重要的事情之一就是定义如何在各组件之间交换数据（数据流是如何被bolts消费的）。一个数据流组指定了每个bolt会消费哪些数据流，以及如何消费它们。数据流组在定义拓扑时设置，就如builder.setBolt("当前groupID", 处理该流的Bolt实例, [int 并行数]) .shuffleGrouping("指定接收的groupID"); TopologyBuilder对象通过<font color="
2021-07-23 15:23:57
293
原创 storm入门
stom适合处理流式数据，类似于sparkStreamingstom运行流程：网络数据-> Spout-> bolts1-> bolts2->…->运行结束**NOTE:**一个spout发布一个定义域列表。这个架构允许你使用不同的bolts从同一个spout流读取数据，它们的输出也可作为其它bolts的定义域，以此类推。TupleTuple是Storm的主要数据结构Storm中的Tuple与python中的tuple类似，其可以是任意长度的，只读的，每一个元素的数
2021-07-17 21:50:03
383
2
原创 Attention-based model
ATTENTION在文本处理中的encoder-decoder模型中，用一个 RNN encoder读入context， 得到一个context vector（RNN的最后一个hidden state）；然后另一个RNN decoder以这个hidden state为起始state，依次生成target的每一个单词。这种做法的缺点是，无论之前的context有多长，包含多少信息量，最终都要被压缩成一个几百维的vector。这意味着context越大，最终的state vector会丢失越多的信息。正
2020-12-28 16:12:16
727
1
原创 卷积池化后图像大小
卷积CONV对于输入图像和卷积核都为正方形的2D卷积输出尺寸 = [ (输入尺寸 - 卷积核尺寸 + 2*Padding) / 步长 ] + 1池化Pool对于输入图像和池化层都为正方形的池化操作输出尺寸 = [ (输入尺寸 - 池化层尺寸 ) / 步长 ] + 1...
2020-12-17 16:03:24
963
原创 pytorch--view函数用法
在pytorch中view函数的作用为重构张量的维度，相当于numpy中resize（）的功能1. torch.view(参数1,参数2…)>>> import torch>>> t1 = torch.tensor([1,2,3,4,5,6])>>> result = tt1.view(3,2)>>> resulttensor([[1, 2], [3, 4], [5, 6]])创建一个6维
2020-12-16 13:41:32
6604
转载 VAE
auto-encoder网络是将输入的数据通过encoder编码为一个低维向量，并且可以使用decoder来将其reconstruction回原数据。传统auto-encoder算法的误差是使用均分误差来衡量，即比较输入输出数据的差异程度。VAE在生成模型中，我们假设输入的数据是服从某些常见的分布（比如正态分布或均匀分布），然后希望训练一个模型 X=g(Z)，这个模型能够将原来的概率分布映射到训练集的概率分布，也就是说，它们的目的都是进行分布之间的变换。这样X->Z就是进行数据压缩，Z->
2020-12-14 13:45:53
468
原创 李宏毅GAN7-infoGAN,VAEGAN,BIGAN
传统的GAN是输入一个向量，输出一张图片。我们希望输入向量的每个特征都能有一定的现实意义，但这不表示容易的。往往输入的向量各维度特征对产生的图片影响不明确的。conditional GAN就是在训练过程中，采用VAE的方法，为特征富于某些规律。infoGANinfoGAN的想法就是输入的向量Z可以分解C和Z` 两部分，其中子向量C就是明确地要对输出产生影响的部分。经过generator生成的图片，再经过一个classifier能够解出该图片的表征向量是C。这类似于AE的逆过程(AE将图片编码为一个向量
2020-12-09 15:05:49
439
原创 李宏毅GAN6-LSGAN,WGAN,EBGAN
JS divergence is not suitable大多数情况下PG和Pdata是没有重叠的（PG为generator生成数据的概率分布，Pdata是样本数据的概率分布，两者是分布函数）我们在算divergence时，是从两个数据分布(PG&Pdata)中sampling数据，再用discriminator来量他们之间的divergence。但是我们在sampling时数据量是有限的，除非PG&Pdata的相似度很像，否则很难通过少量数据就反应出其overlap情况。因此我们可以近
2020-12-09 13:07:33
354
原创 pytorch 自动求导autograd
张量tensor张量tensor类似于numpy中的narray，是一个多维数组，两者可以相互转换 import torch import numpy as npx = np.array([1., 2., 3.]，dtype=float)x = torch.from_numpy(x)注意：PyTorch的梯度只能计算浮点张量，所有从numpy转化为tensor时，需要将numpy数据格式设置为float。Autograd这个类是一个计算导数的引擎(更精确地说是雅克比向量积)。它记录
2020-11-29 19:34:12
271
原创 矩阵求导法则
基本公式：Y = A X --> dY/dX = A’Y = X A --> dY/dX = AY = A’XB --> dY/dX = A B’Y = A’ X’ B --> dY/dX = B A’Y= X ’ A X --> dY/dX = 2AX矩阵Y对标量x求导：相当于每个元素求导数后转置一下，注意MxN矩阵求导后变成N×M了Y = [ y(ij) ] --> dY/dx = [ dy(ji) / dx ]标量y对列向
2020-11-29 19:33:53
1046
原创 pytorch之分类问题图片数据加载
pytorch中加载数据的顺序是：①创建一个dataset对象②创建一个dataloader对象③循环dataloader对象，将data,label拿到模型中去训练1.创建datasets格式的数据这里使用的是ImageFolder，ImageFolder是一个通用的数据加载器，数据集中的数据以以下方式组织root/dog/xxx.pngroot/dog/xxy.pngroot/dog/xxz.pngroot/cat/123.pngroot/cat/nsdf3.pngroot/ca
2020-11-28 14:32:05
425
原创 pytorch之保存与加载模型
pytorch与保存、加载模型有关的常用函数3个：torch.save(): 保存一个序列化的对象到磁盘，使用的是Python的pickle库来实现的torch.load(): 解序列化一个pickled对象并加载到内存当中torch.nn.Module.load_state_dict(): 加载一个解序列化的state_dict对象1.state_dict在PyTorch中，一个torch.nn.Module模型的可训练参数（即权重与偏移项）保存在模型的参数（parameters，使用mod
2020-11-27 13:54:45
930
1
原创 SpringMVC--运行流程、与Spring整合
所有请求，前端控制器(DispatcherServlet)收到请求，调用doDispatch进行处理根据HandlerMapping中保存的请求映射信息找到，处理当前请求的处理器执行链(包含拦截器)根据当前处理器找到它的HandlerAdapter(适配器)拦截器的preHandle先执行适配器执行目标方法1...
2020-09-17 15:47:37
161
原创 Spring--容器创建销毁、整合javaweb
将所有组件加入容器中，并能正确获取@Controller : servlet层，目前不能标注在servlet层@Service : 业务逻辑层@Repository : dao层@Component : 其他组件每个组件之间自动装配配置出声明式事务：事务管理器控制数据库连接池...
2020-09-17 14:18:33
291
原创 SpringMVC--异常处理
给方法上随便写一个Exception，用来接收发生的异常要携带的异常信息不能给参数位置写Model返回ModelAndView就行如果有多个@ExceptionHandler都能处理这个异常，精确优先全局异常处理与本类同时存在，本类优先Spring MVC处理异常有3种方式：1）使用Spring MVC提供的简单异常处理器SimpleMappingExceptionResolver；2）实现Spring的异常处理接口HandlerExceptionResolver 自定义自己的异常处理器；.
2020-09-15 15:33:35
765
1
原创 SpringMVC--JSON、文件上传、拦截器
1.处理JSON1.1 导包Jackson 是一个Java开源的JSON工具库,性能很高,可以轻松将Java对象转换成Json对象xml文档,同样也可以将json、xml转换成Java对象导入maven依赖<dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <
2020-09-09 22:47:52
239
原创 SpringMVC-视图解析器
由于配置了视图解析器，controller返回的字符串会被自动拼接前缀(WEB-INF/pages)和后缀(.jsp)，如果想要跳转到当前项目下的界面则会找不到(被自动拼接后路径错误)forward前缀指定一个转发controller返回值中包含forward，即告诉视图解析器这个路径不需要拼接，而是转发到该路径@RequestMapping("/handle01")public String testForward(){ return "forward: /hello.jsp";}/* 转
2020-08-29 16:01:36
168
原创 SpringMVC-输出模型数据
可以传入原生的HttpServletRequest和HttpSession，使用setAttribute(String name,Object o)、getAttribute(String name)来携带数据，在JSP处输出
2020-08-29 01:30:48
205
原创 JSP
JSP本质上就是一个Servlet，只不过无需配置映射路径，Web Server会根据路径查找对应的.jsp文件，如果找到了，就自动编译成Servlet再执行。JSP在执行前首先被编译成一个Servlet。在Tomcat的临时目录下，可以找到一个hello_jsp.java的源文件，这个文件就是Tomcat把JSP自动转换成的Servlet源码：package org.apache.jsp;import ...public final class hello_jsp extends org.apa
2020-08-28 01:44:54
166
原创 servlet--跳转、Cookie、Session和三大作用域对象
Web组件之间的跳转方式请求转发从Servlet1,请求转发到Servlet2. Servlet1完成一部分功能,再跳转到Servlet2继续完成剩下的功能.语法request.getRequestDispatcher(String path).forward(request,response)参数path为需要转发到的url地址，如"/hello"特点浏览器的地址栏不发生改变.请求转发只发送一个请求共享同一个请求中的数据最终响应给浏览器的由Servlet2来决定URL
2020-08-26 22:48:00
259
原创 servlet--映射、四个对象、多线程
简介Servlet(Server applet)服务器的小程序, Servlet是JavaWeb的三大组件之一。Servlet的作用是处理请求，服务器会把接收到的请求交给Servlet来处理。Servlet的开发狭义上讲，servlet是java语言实现的一个类，其开发流程如下：编写一个java类，继承HttpServlet类重写HttpServlet类的doGet方法和doPost方法配置web.xml文件，或者使用注解对servlet进行配置服务器在接受到请求后，根据url地址，将请求
2020-08-26 01:51:37
217
原创 SpringMVC--Request
传递的参数获取默认方式获取请求参数：直接给请求地址的处理方法参数列表写上一个和请求参数名相同的变量，这个变量就来接受请求参数的值(如果url中没有带上这个参数，那么就为默认值null)@RequestMapping("/hello01")public String handle01(String username){ System.out.print(username)}发送请求<a href="hello01?username=haha&pwd=123">参
2020-08-24 20:36:20
473
原创 SpringMVC--配置一个基本的项目
创建一个springMVC流程1.导包一个跳转的运行流程：1.客户点击<a href="hello">这是一个跳转</a>链接时，会发送一个http://localhost:8080/springmvc/hello请求2.来到tomcat服务器3.springMVC的前端控制器收到所有请求4.来看请求地址和@RequestMapping标注的哪个匹配，来找到底使用哪个类的哪个方法来处理5.前端控制器找到了处理器类和目标方法，直接利用返回执行目标方法6.方法执行完成
2020-08-22 15:56:44
178
原创 Spring 声明式事务
事务包括声明式事务和编程式事务编程式事务Connection conn = openConnection();try { // 关闭自动提交: conn.setAutoCommit(false); // 执行多条SQL语句: insert(); update(); delete(); // 提交事务: conn.commit();} catch (SQLException e) { // 回滚事务: conn.rollback(
2020-08-15 01:28:04
162
原创 Spring IOC 注解配置
基于XML的IOC配置，创建一个bean时，需要在.xml文件中声明一个bean，然后在main函数中加载该.xml来创建容器创建bean在某个类上添加任何一个注解都能快速将这个组件加入ioc容器的管理中：spring有四个注解：@Controller：控制器，推荐给控制器层(servlet包下的这些)的组件加这个注解@Service：业务逻辑，推荐业务逻辑层的组件加这个注解@Repository：给数据库层(持久化层,dao层)的组件添加这个注解@Component：给不属于以上几层的组件添
2020-08-11 16:00:23
193
原创 Spring IOC XML版
将获取一个对象，从原来的主动new创建，转变成由一个容器进行管理，容器能够自动的创建和配置对象，程序员只需按需索取即可。XML配置Bean<!--注册一个Person对象，Spring会自动创建这个Person对象--><!--一个Bean标签可以注册一个组件(类、对象)class：写要注册的组件的全类名id：这个对象的唯一表示，以后通过getBean(id)来从容器中找到这个对象，以及ref = id来将这个对象注入到其他组件中--><bean id = "
2020-08-10 11:02:56
139
原创 Spring AOP配置 XML版
基于注解的AOP配置将目标类和切面类都加入IOC容器中 @Component告诉Spring哪个是切面类 @Aspect在切面类中使用五个通知注释来配置切面中的这些通知方法都何时何地运行开启基于注解的AOP功能基于XML的AOP配置首先将目标方法所在类和通知方法所在类加入IOC容器<bean id="myMathCalculator" class="com.atguigu.impl.MyMathCulator"></bean><bean id = "lo
2020-07-28 11:51:40
87
原创 Spring AOP配置
写配置将目标类和切面类(封装了通知方法(在目标方法执行前后执行的方法))加入的IOC容器中还应该告诉Spring哪个是切面类 用@Aspect修饰切面类告诉Spring，切面类里面的每一个方法何时何地运行声明切面类@Aspect@Componentclass xxx{…}将该类加入IOC容器，并且告诉Spring这是一个切面类拦截器@Before：这种拦截器先执行拦截代码，再执行目标代码。如果拦截器抛异常，那么目标代码就不执行了；@After：这种拦截器先执行目标代码，再执行拦截器
2020-07-28 01:33:50
228
原创 PYTHON 将facenet的128维encoding存入/度出数据库
facenet将人脸编码成128维float型向量将这128维向量转换成string再以text的形式存入数据库#face_encoding即人脸编码后的向量#以 ， 为分隔符将其转换成stringenc2str = ",".join(str(li) for li in face_encoding.tolist())sql = "insert ignore into face(id,j...
2020-03-28 01:06:39
1160
原创 Python enumerate() 函数
语法enumerate(sequence, [start=0])sequence – 一个序列、迭代器或其他支持迭代对象。start – 下标起始位置。在同时需要index和value值的时候可以使用 enumerate。例子>>>seasons = ['Spring', 'Summer', 'Fall', 'Winter']>>>list(enu...
2020-03-11 10:35:54
201
原创 PYTHON中String类的split()方法
split()：拆分字符串。通过指定分隔符对字符串进行切片，并返回分割后的字符串列表（list）os.path.split()：按照路径将文件名和路径分割开函数说明split()函数语法：str.split(str="",num=string.count(str))[n]参数说明：str:表示为分隔符，默认为空格，但是不能为空(’’)。若字符串中没有分隔符，则把整个字符串作为列表的一个...
2020-03-04 10:30:12
9517
翻译 异步I/O——协程
什么是协程呢？协程（Coroutines）是一种比线程更加轻量级的存在，正如一个进程可以拥有多个线程一样，一个线程可以拥有多个协程。协程不是被操作系统内核所管理的，而是完全由程序所控制，也就是在用户态执行。这样带来的好处是性能大幅度的提升，因为不会像线程切换那样消耗资源。协程不是进程也不是线程，而是一个特殊的函数，这个函数可以在某个地方挂起，并且可以重新在挂起处外继续运行。所以说，协程与进程...
2020-02-17 12:31:00
121
杭电操作系统实验
2018-10-31
杭电操作系统实验1
2018-06-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人