weixin_38292616的博客

转载 Dropout原理解析

转载自https://cloud.tencent.com/developer/news/246964目录：1. Dropout简介1.1 Dropout出现的原因1.2 什么是Dropout2. Dropout工作流程及使用2.1 Dropout具体工作流程2.2 Dropout在神经网络中的使用3. 为什么说Dropout可以解决过拟合4. Dropou...

转载 epoch、 iteration和batchsize

深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别： （1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次...

转载 SAX（Symbolic Aggregate Approximation）

SAX方法：是基于PAA的符号化离散表示方法，该方法能够有效对时间序列降维及进行相似性度量，且满足下边界引理（有待学习）SAX表示步骤：（1）原始序列规格化。将时间序列C={c1，c2，...，cn}转换为标准序列（均值为0、标准差为1）（2）数据降维，利用公式，对进行PAA（Piecewise Aggregate Approximation）表示，其中w为时间序列PAA表示的分段数，...

转载 软件测试面试必备

软件测试面试必备的一些基础理论概念 　　测试的基本概念　　测试是软件生存周期中十分重要的一个过程，是产品发布、提交给最终用户前的稳定化阶段。　　一、 测试的分类：　　从测试方法的角度可以分为手工测试和自动化测试。　　手工测试：不使用任何测试工具，根据事先设计好的测试用例来运行系统，测试各功能模块。　　自动化测试：利用测试工具，通过编写测试脚本和输入测试数据，自动运行测试...

原创 设计模式

创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。...

原创 视图

视图是虚拟的表，视图只包含使用时动态检索数据的查询。它不包含任何列和数据，它包含的是一个查询。个人理解：视图存储了中间的查询结果，可以重用，简化SQL语句。创建视图：CREATE VIEW  删除视图：DROP VIEW viewname; ...

转载 python timeit模块

测试一段代码的运行时间，在python里面有个很简单的方法，就是使用timeit模块，使用起来超级方便下面简单介绍一个timeit模块中的函数主要就是这两个函数：1,    timeit(stmt='pass', setup='pass', timer=<defaulttimer>, number=1000000)       返回：            返回执行...

原创 组合查询（UNION）

SQL允许执行多个查询（多条SELECT 语句），并将结果作为单个查询结果集返回，这些组合查询通常称为并（union）或复合查询。用UNION操作符来组合数条SQL查询，利用UNION，可给出多条SELECT语句，在各条语句之间放上UNION，将他们的结果组合成单个结果集。UNION规则：UNION中的每个查询必须包含相同的列、表达式或聚集函数                     ...

原创 GROUP BY分组数据 HAVING过滤分组

聚集函数COUNT（ ）有两种使用方式：1.使用COUNT（*)对表中行的数目进行计数，不管表列中包含的是空值（NULL）还是非空值。2.使用COUNT（column）对特定列中具有值的行进行计数，忽略NULL值。当SELECT 选择多个列（包含COUNT（））时，必须结合GROUP BY 使用，如：SELECT order_num,COUNT(*) AS items FROM O...

原创 不同类型的联结

内部联结：SELECT vend_name,prod_name,prod_priceFROM Vendors INNER JOIN ProductsON Vendors.vend_id=Products.vend_id;ON子句给出联结条件自联结：SELECT c1.cust_id,c1.cust_name,c1.cust_contactFROM Customers A...

转载 DBSCAN密度聚类算法

转载自刘建平Pinard https://www.cnblogs.com/pinard/p/6208966.html#commentformDBSCAN(Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)是一种很典型的密度聚类算法，和K-Means，BIRCH这些一般只适用于凸样本集的聚类相比，...

转载 ETL讲解

ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。       　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据...

原创 MYSQL与SQL 在LIKE子句和通配符用法的不同

MYSQL与SQL 在LIKE子句和通配符用法的不同通配符（wildcard）：用来匹配值的一部分的特殊字符搜索模式：由字面值、通配符或两者组合构成的搜索条件。1. MYSQL LIKE 匹配，会与%和 _ 配合使用'%a' //以a结尾的数据'a%' //以a开头的数据'%a%' //含有a的数据'_a_' //三位且中间字母是a的'_a' ...

原创 数据库基础

1 表 table2 列（表由列组成）3 行（表中的一个记录）4 主键一列或一组列，其值能够唯一标识表中每个行，就是说表中每一行都应该有可以唯一标识自己的一列（或一组列）。一个顾客表可以将顾客编号用于此目的。主键用来表示一个特定的行。表中任何列都可以作为主键，主要满足以下条件：任意两行都不具有相同的主键值; 每个行都必须具有一个主键值（不允许NULL）; 主键列中的值不...

转载 小波阀值去噪法基础

1 小波阀值去噪的基本思想Donoho提出的小波阀值去噪的基本思想是将信号通过小波变换（采用Mallat算法）后，信号产生的小波系数含有信号的重要信息，将信号经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小于信号的小波系数，通过选取一个合适的阀值，大于阀值的小波系数被认为是有信号产生的，应予以保留，小于阀值的则认为是噪声产生的，置为零从而达到去噪的目的。其基本步骤为：（...

原创 java中Iterator接口

 因此 , 应该将 Java 迭代器认为是位于两个元素之间 。 当调用 next 时 , 迭代器就越过下 一个元素 , 并返回刚刚越过的那个元素的引用 ( 见图 9 3 )...

原创 Hadoop分布式缓存

DistributedCache是Hadoop提供的文件缓存工具，它能够自动将指定的文件分发到各个节点上，缓存到本地，供用户程序读取使用。它具有以下几个特点：缓存的文件是只读的，修改这些文件内容没有意义；用户可以调整文件可见范围（比如只能用户自己使用，所有用户都可以使用等），进而防止重复拷贝现象；按需拷贝，文件是通过HDFS作为共享数据中心分发到各节点的，且只发给任务被调度到的节点。本文将介绍Di...

原创 交通状态预测可以根据不同的标准进行分类

在总结前人工作的基础上，交通状态预测可以根据不同的标准进行分类。按照研究的时段来分，有长时预测、中时预测和短时预测三种。前两者指时间序列数据的间隔和预测期均较长的情况，如 30 分钟、1 小时、一日甚至更长；后者则是指时间序列数据的间隔和预测期均较短的情况，如 5 分钟、15 分钟等。按照待研究的道路来分，有专门针对某条路段交通状态的预测，也有对整体路网交通的预测；有针对高速公路的预测，也有对城市...

翻译 类之间的关系

转载 GIS基本概念

简介WKT(Well-known text)是开放地理空间联盟OGC（Open GIS Consortium ）制定的一种文本标记语言，用于表示矢量几何对象、空间参照系统及空间参照系统之间的转换。WKB(well-known binary) 是WKT的二进制表示形式，解决了WKT表达方式冗余的问题，便于传输和在数据库中存储相同的信息GeoJSON 一种JSON格式的Feature信息输出格式，它便...

原创 this和super

关键字 this 有两个用途 : 一是引用隐式参数, 二是调用该类其他的构造器 , 同样 , super 关键字也有两个用途 : 一是调用超类的方法 , 二是调用超类的构造器 。如果子类的构造器没有显式地调用超类的构造器 , 则将自动地调用超类默认 ( 没有参数 )的构造器 。 如果超类没有不带参数的构造器, 并且在子类的构造器中又没有显式地调用超类的其他构造器 则 Java 编译器将报告错误 。...

原创 Java异常

需要注意的是, 所有的异常都是由 Throwable 继承而来, 但在下一层立即分解为两个分支 : Error 和 Exception :Error 类层次结构描述了 Java 运行时系统的内部错误和资源耗尽错误 。 应用程序不应该'抛出这种类型的对象 。 如果出现了这样的内部错误, 除了通告给用户, 并尽力使程序安全地终止之外 , 再也无能为力了 。 这种情况很少出现 。在设计 Java 程序时...

原创 hadoop端口说明：

hadoop端口说明：port8088: cluster and all applications port 50070: Hadoop NameNodeport 50090: Secondary NameNode port 50075: DataNode

原创 HDFS

从本地文件系统将文件复制到HDFS：hdfs dfs -copyFromLocal  /input/quangle.txt  /user/hadoop/quangle.txt   (和 put命令作用一样)/user/hadoop/quangle.txt 是hdfs的绝对路径，即/user/<currentUser>是hdfs的home目录如果只写成quangle.txt，表示相对路径...