diantu6020-优快云博客

转载图像灰度直方图

图像灰度直方图　　图像是由像素点构成的，每个像素点的值代表着该点的颜色（灰度图或者彩色图）。　　直方图就是对图像中的这些像素点的值进行统计，得到一个统一的整体的灰度概念。　　优点：可以清晰了解图像的整体灰度分布，对于后面依据直方图处理图像来说至关重要。　　一般情况下直方图都是灰度图像，直方图x轴是灰度值（一般0~255），y轴是图像中每一个灰度级对应的像素点的个数。　...

2019-08-06 18:14:00 2181

转载 TensorFlow基础与实战

开源工具TensorFlow：谷歌，C++、Python，Linux、Windows、Mac OS X、Andriod、iOS Caffe：加州大学，C++、Python、Matlab，Linux、Windows、Mac OS X PaddlePaddle：百度TensorFlow安装（Python） pip install tensorflow（cpu版）...

2019-05-18 11:04:00 221

转载 Python笔试面试题目及答案

1.is 和==的区别？is：比较的是两个对象的id值是否相等，也就是比较俩对象是否为同一个实例对象。是否指向同一个内存地址== ：比较的两个对象的内容/值是否相等，默认会调用对象的eq()方法2.python中内置的数据结构有几种？4种列表字典字符串集合元祖3.Python中变量的作用域？（变量查找顺序)函数作用域的LEGB顺序1.什么是LEGB?L： l...

2019-05-17 17:10:00 1842

转载机器学习-工作流程与模型优化

一、前序工作流程1. 数据处理　　数据清洗　　不可信的样本丢掉　　缺省值极多的字段考虑不用　　数据采样　　下/上采样　　保证样本均衡 2. 特征工程　　特征处理：　　数值型类别型时间类文本型统计型组合特征　　特征选择：　　过滤型　　　　sklearn.feature_s...

2019-03-06 17:47:00 662

转载机器学习-数据与特征工程

一、前言1.机器学习与特征工程的关联 2.实际工业界的特征工程那些事儿特征工程特征 => 数据中抽取出来的对结果预测有用的信息特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。意义更好的特征意味着更强的灵活度更好的特征意味着只需用简单模型更好的特征意味着更...

2019-03-06 14:44:00 254

转载机器学习-聚类(clustering)算法：K-means算法

1. 归类：聚类(clustering)：属于非监督学习(unsupervised learning) 无类别标记(class label)2. 举例： 3. Kmeans算法 3.1 clustering中的经典算法，数据挖掘十大经典算法之一 3.2 算法接受参数k；将事先输入的n个数据对象划分为k个...

2019-03-04 19:13:00 317

转载机器学习-回归中的相关度和R平方值

1. 皮尔逊相关系数(Pearson Correlation Coefficient) 1.1 衡量两个值线性相关强度的量 1.2 取值范围[-1, 1] 正相关：>0, 负相关：<0, 无相关：=0 1.3要理解Pearson相关系数，首先要理解协方差（Covariance），协方差是一个反映两个随机变量相关...

2019-03-02 16:07:00 2531

转载机器学习-非线性回归(Logistic Regression)及应用

1. 概率 1.1 定义：概率(Probability):对一件事情发生的可能性的衡量。 1.2 范围：0 <= P <= 1 1.3 计算方法： 1.3.1 根据个人置信 1.3.2 根据历史数据 1.3.3 根据模拟数据 1.4 条件概率： ...

2019-03-01 18:52:00 762

转载机器学习-多元线性回归(一)

1. 与简单线性回归的区别多个自变量(x)2. 多元回归模型其中，是参数，是误差值，截面3. 多元回归方程 4. 估计多元回归方程一个样本被用来计算的点估计5. 估计流程(与简单线性回归类似)6. 估计方法使用sum of squares最小...

2019-03-01 15:59:00 220

转载机器学习-简单线性回归(二)

一、简单线性回归模型举例汽车卖家做电视广告数量与卖出去的汽车数量：1.1 列出适合简单线性回归模型的最佳回归线？使sum of squares最小1.2 计算1.3 预测假设有一周的广告数为6.预测的汽车销售量为多少？代码：# -*- coding:utf-8 -*-#简单线性回归...

2019-02-28 22:16:00 220

转载机器学习-简单线性回归(一)

一、预备知识介绍为什么需要统计量？统计量：描述数据特征 1. 集中趋势衡量 1.1 均值(平均数，平均值)(mean) 1.2 中位数(median):将数据中的各个数值按照大小顺序排列，居于中间位置的变量。 ...

2019-02-28 18:17:00 217

转载机器学习-神经网络算法应用(二)

1. 简单非线性关系数据集测试(XOR):X: Y0 0 00 1 11 0 11 1 0# -*- coding:utf-8 -*-from NeuralNetwork impo...

2019-02-26 22:00:00 184

转载机器学习-神经网络算法(二)

1. 关于非线性转化方程(non-linear transformation function) sigmoid函数(S 曲线)用来作为activation function: sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。...

2019-02-26 21:34:00 265

转载机器学习-支持向量机理论与应用(线性不可分)

1. SVM算法特性 1.1 训练好的模型的算法复杂度是由支持向量的个数决定的，而不是由数据的维度决定的。所以SVM不太容易产生overfitting 1.2 SVM训练出来的模型完全依赖于支持向量(Support Vectors), 即使训练集里面所有非支持向量的点都被去除，重复训练过程，结果仍然会得到完全一样的模型。 1.3 一个...

2019-02-24 19:36:00 366

转载机器学习-神经网络算法(一)

1. 背景: 1.1 以人脑中的神经网络为启发，历史上出现过很多不同版本 1.2 最著名的算法是1980年的backpropagation2. 多层向前神经网络(Multilayer Feed-Forward Neural Network) 2.1 Backpropagation被使用在多层向前神经网络上 2.2 多层向前神经...

2019-02-24 18:58:00 869

转载机器学习-KNN算法详解与实战

最邻近规则分类(K-Nearest Neighbor)KNN算法1.综述 1.1 Cover和Hart在1968年提出了最初的邻近算法 1.2 分类(classification)算法 1.3 输入基于实例的学习(instance-based learning)，懒惰学习(lazy learing)2. 例子未知电影属于什么类型？...

2019-02-23 16:23:00 183

转载机器学习-决策树实战应用

决策树在线文档：https://scikit-learn.org/stable/modules/tree.html安装Graphviz :http://www.graphviz.org/1.下载2.安装：双击3.创建桌面快捷方式安装目录\bin文件夹\：找到gvedit.exe文件右键发送到桌面快捷方式，如下图：...

2019-02-21 18:07:00 161

转载机器学习-决策树理论详解

1.什么是决策树/判定树(decision tree) 决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或者类分布。树的最顶层是根结点。机器学习中分类方法中的一个重要算法2.构造决策树的基本算法树叶 2.1 熵(entropy)概念信息和抽象...

2019-02-19 18:16:00 337

转载机器学习-基本概念与技术应用

一、基本概念：训练集、测试集、特征值、监督学习、非监督学习、半监督学习、分类、回归1.概念学习：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数2.训练集(traning set/data)/训练样例(training examples)：用来进行训练，也就是产生模型或者算法的数据集3. 测试集(testing set/data)/测试样例(testing ...

2019-02-19 16:10:00 289

转载 Python之路-pandas包的详解与使用

什么是pandas　　pandas是一种Python数据分析的利器，是一个开源的数据分析包，最初是应用于金融数据分析工具而开发出来的，因此pandas为时间序列分析提供了很好的支持。pandas是PyData项目的一部分。　　官网：http://pandas.pydata.org/ 　　官方文档：http://pandas.pydata.org/pandas-docs/st...

2019-02-18 17:41:00 828

转载 Python之路-numpy模块

　　这里是首先需要安装好Anaconda　　Anaconda的安装参考Python之路-初识python及环境搭建并测试　　配置好环境之后开始使用Jupyter Notebook　　1.打开cmd,输入jupyter notebook --generate-config　　2.打开这个配置文件，找到“c.NotebookApp.notebook_dir=‘’ ”，把...

2019-02-18 16:08:00 167

转载 Python之路-Python中的线程与进程

一.发展背景　　任务调度　　大部分操作系统(如Windows、Linux)的任务调度是采用时间片轮转的抢占式调度方式，也就是说一个任务执行一小段时间后强制暂停去执行下一个任务，每个任务轮流执行。任务执行的一小段时间叫做时间片，任务正在执行时的状态叫运行状态，任务执行一段时间后强制暂停去执行下一个任务，被暂停的任务就处于就绪状态等待下一个属于它的时间片的到来。这样每个任务都能得到执...

2019-01-31 11:26:00 193

转载 Python之路-Python常用模块-time模块

一、time模块　　常用的一种获取当前时间以及时间格式化的模块，模块名称：time 　　time模块在Python原生安装中就存在所以不需要进行任何安装操作，直接使用即可。　　导入方式： import time　　time模块-常用方法　　time模块-时间元组　　time模块-时间格式''' 引入time模块'''...

2019-01-31 11:06:00 169

转载 Python之路-Python中文件和异常

一、文件的操作　　open函数　　在python中，使用open函数，打开一个已经存在的文件，或者新建一个新文件。　　函数语法 open(name[, mode[, buffering[,encoding]]]) 　　name : 一个包含了你要访问的文件名称的字符串值(区分绝对路径和相对路径)。　　mode : mode 决定了打开文件的模式：只读，写入，追加等。...

2019-01-29 15:46:00 287

转载 Python之路-Python中的模块与包

一、模块简介　　在实际开发中我们不可能不用到系统的标准模块，或第三方模块。如果想实现与时间有关的功能，就需要调用系统的time模块。如果想实现与文件和文件夹有关的操作，就需要要用到os模块。　　每一个 Python 脚本文件都可以被当成是一个模块。模块以磁盘文件的形式存在。当一个模块变得过大，并且驱动了太多功能的话，就应该考虑拆一些代码出来另外建一个模块。模块里的代码可以是一段...

2019-01-29 14:20:00 166

转载 Python之路-面向对象&继承和多态&类属性和实例属性&类方法和静态方法

一、面向对象　　编程方式　　面向过程：根据业务逻辑从上到下写垒代码　　函数式：将某功能代码封装到函数中，日后便无需重复编写，仅调用函数即可　　面向对象：对函数进行分类和封装，让开发“更快更好更强…”　　什么是面向对象　　面向对象就不像面向过程那样按照功能划分模块了，它所关注的是软件系统有哪些参与者，把这些参与者称为对象，找出这些软件系统的参与者也就是对象之后，...

2019-01-28 22:41:00 819

转载 Python之路-函数基础&局部变量与全局变量&匿名函数&递归函数&高阶函数

一、函数的定义与调用　　函数：组织好的、可重复使用的、用户实现单一或者关联功能的代码段。函数能够提高应用的模块性和代码的重复利用率。Python提供了很多内置的函数，比如len等等，另外也可以根据自己的业务需求进行用户自定义函数的创建。　　函数的定义规则　　函数代码块以def关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间。函数的第一...

2019-01-26 22:23:00 194

转载 Python之路-条件控制&循环语句&列表推导式&常用函数

一、什么是条件控制语句　　条件控制语句，也可以称之为判断语句，通过一条或多条的执行结果来决定接下来要执行的代码块。二、if语句　　if语句是用来进行判断的，最简答的if语句只有一个判断一个操作。　　语法：　　　　if 条件：条件成立，执行代码块　　如：'''' if语句 if 条件表达式: 条件成立则执行执...

2019-01-23 22:30:00 346

转载 Python之路-变量和基本数据类型详解（变量、数据类型、）

一、注释注释的作用：　　增加程序的可读性　　作为调试用　　提高团队的合作效率注释的分类　　1、单行注释　　以井号（#）开头，右边的所有内容当做说明　　2、多行注释　　以三对单引号（’’’注释内容’’’）将注释包含起来其他语法Python的语法比较简单，采用缩进的方式。# print absolute value of an inte...

2019-01-22 22:04:00 263

转载 Python之路-初识python及环境搭建与测试（Python安装、Anaconda安装、PyCharm安装）

一.认识Python起源　　Python的作者是著名的“龟叔”Guido van Rossum，他希望有一种语言，这种语言能够像C语言那样，能够全面调用计算机的功能接口，又可以像shell那样，可以轻松的编程。龟叔从ABC语言看到希望，ABC语言是由荷兰的数学和计算机研究所开发的。龟叔也参与到ABC语言的开发。由于一系列原因ABC并没有快速传播使用。因此，龟叔开始写Python语言。...

2019-01-21 22:05:00 216

转载 HBase的访问方式

这里只介绍三种最常用的方式1.HBase shellHBase的命令行工具是最简单的接口，主要用于HBase管理首先启动HBase帮助hbase(main):001:0> help查看HBase服务器状态hbase(main):001:0> status查询HBse版本hbase(main):002:0&gt...

2018-08-23 14:07:00 679

转载 sqoop简单使用

一，通过sqoop将MySQL里面的数据加载到HDFS先查看有哪些数据库查看表personsqoop list-databases --connect jdbc:mysql://ly-p2p4:3306/test --username root -password 123456将数据库test下的person表加载到HDFS下的sqoop目录下...

2018-08-14 19:30:00 108

转载 Java中的集合详解及代码测试

1:对象数组 (1)数组既可以存储基本数据类型，也可以存储引用类型。它存储引用类型的时候的数组就叫对象数组。2:集合(Collection) (1)集合的由来我们学习的是Java -- 面向对象 -- 操作很多对象 -- 存储 -- 容器(数组和StringBuffer) -- 数组而数组的长度固定，所以不适合做变化的需求，Java就提供了集合供我们使用。 (2)集合和数...

2018-08-06 16:01:00 163

转载 hive操作

创建一个内部表：hive> CREATE TABLE IF NOT EXISTS student1 (sno INT,name STRING,age INT,sex STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;查看hive> ...

2018-08-06 13:52:00 120

转载 Array数组的使用

1 public class ArrayDemo { 2 public static void main(String[] args) { 3 int[] arr = {13,44,55,667,67,78}; 4 ArrayTool.printArray(arr); 5 /* 6 * ...

2018-07-27 18:12:00 132

转载 map集合中取出分类优先级最高的类别名称

1 import java.util.Arrays; 2 import java.util.Collection; 3 import java.util.HashMap; 4 import java.util.Map; 5 import java.util.Map.Entry; 6 7 /* 8 * 取出分类优先级最高的类别名称 9 * 思路：...

2018-07-26 17:37:00 163

转载关键字static介绍

static关键字java中针对多个对象有共同的成员变量值得时候，就提供了static关键字来修饰。 (1)静态的意思。可以修饰成员变量和成员方法。 (2)静态的特点： A:随着类的加载而加载 B:优先与对象存在 C:被类的所有对象共享这其实也是我们判断该不该使用静态的依据。 D:可以通过类名调用既可以通过对象名调用，也可以通过类名调用，建议通过类...

2018-07-26 11:17:00 97

转载构造方法

构造方法：给对象的数据进行序列化格式：1.方法名与类名相同 2.没有返回值类型，没有void 3.没有具体的返回值 (3)构造方法的注意事项 A:如果我们没写构造方法，系统将提供一个默认的无参构造方法 B:如果我们给出了构造方法，系统将不再提供默认构造方法如果这个时候，我们要使用无参构造方法，就必须自己给出。...

2018-07-26 10:22:00 86

转载封装和private，this，super关键字的简单应用

1.将成员变量用private修饰2.提供对应的getxx()和setxx()方法 1 public class Student { 2 3 private String name; 4 5 private int age; 6 7 public String getName(){ 8 ...

2018-07-25 18:43:00 139

转载遍历并读取指定目录下的所有文件内容，写入Map集合然后输出在控制台和本地文件...

1 public class FileWrite { 2 3 4 public static void main(String[] args) throws Exception { 5 //封装数据源目录 6 File srcFolder = new File("E:KeyWord//");...

2018-07-25 17:12:00 804

空空如也

空空如也