swjtuzbko的专栏

原创 机器学习之分类模型性能评价指标

机器学习之分类模型评价指标：查准率、查全率、ROC曲线混淆矩阵真实情况 预测结果 正例 反例 正例 TP（真正例） FN（假反例） 反例 FP（假正例） TN（真反例） 查准率，查全率ROC曲线即根据模型的预测结果按属于正例的概率值从高到低排序，得到“真正例率”（True Positive Rate，简称tpr），“假正例率”（FalsePositive Rate，简称fpr）两个指标，分别作为...

原创 有符号整数计算机中表示原理

#有符号整型补码表示（一个字节）##正数###最左边符号位，占一位，用0表示，数值表示范围为：0～127，对应存储为：00000000～01111111##负数###最左边符号位，占一位，用1表示，数值表示范围为：-128～-1，对应存储为：10000000～11111111###**注：因正负数在计算机中表示有两种：+0与-0（00000000与10000000，两种表示方法浪费资源）所以用补码表示**...

原创 python数据结构之列表使用技巧

原创 python之数据分析基础

Pandas速查手册中文版 对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。 如果你想学习Pandas，建议先看两个网站。 官网：Python Data Analysis Library 十分钟入门Pandas...

原创 pyspark之RDD

RDD简介RDD就是一个不可变的分布式对象集合—弹性分布式数据集（Resilient Distributed Dataset）。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含任意类型的对象，包括用户自定义的对象。RDD常用操作创建RDD1.对一个集合进行并行化x = sc.parallelize([1.0, 0.0, -2.0], 2)2.读...

原创 多线程之用户级线程切换随笔

线程及切换线程：比进程更轻的动态执行序列，同一进程中的多个线程可以共享资源（内存），故线程间的切换相比进程更加快速、方便。线程的切换：是指令之间的切换，从一段执行序列（程序）切换到另一段执行序列（程序），而内存映射表不变；即PC的切换，线程的切换也是进程切换的重要组成部分进程及切换进程的切换包括：指令的切换和内存（映射表）的切换（资源的切换）线程切换举例用户打开某个网站浏览网页，网页内容有文本、图...

原创 操作系统的多进程组织、进程间切换

用户使用计算机就是启动了一堆进程；用户管理计算机就是管理这一堆进程操作系统如何组织多个进程即根据PCB、根据状态形成不同的队列放在不同的位置。多个进程如何组织呢？用PCB放在不同的队列中（就绪、阻塞），用状态转化来推进多个进程的执行操作系统如何完成进程的切换调度选择下一个进程，得到下一个进程的PCB，把上一个进程的执行现场保存起来，把下一个进程的现场覆盖到CPU对应的寄存器中去。多进程如何交替？如...

原创 CPU利用、多进程随笔01

操作系统的作用主要是管理硬件，如CPU、内存、IO设备等，CPU作为最核心的硬件，是操作系统的主要管理对象。管理CPU，先要将CPU用起来，那么如何将CPU用起来？只需要设置好寄存器PC的初值，CPU就会自动的取指、执行，然后依次取后续指令，不断取指、执行——这是最简单的使用CPU的办法，即设好PC初值就完事！但是程序中有IO等操作时，IO的处理时间远远大于CPU计算的时间，也就是一条IO操作所用...

原创 排序算法之简单选择排序

简单选择排序(Simple Selection sort)简单选择排序是一种简单直观的排序算法。它的工作原理：首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。 简单选择排序也是通过两层循环实现第一层循环：进行n-1趟排序，每趟锁定一个位置（最值）。依次遍历序列当中的每一个元...

原创 排序算法之快速排序

快速排序（QuickSort）快速排序（QuickSort）属于交换类排序，是通过元素间不断的比较和移动实现的。它的实现，增大了记录移动的距离，通过前后两个指针，依次与基准元素（一般为序列第一个元素或三数取中）进行比较，将比基准元素小的移动到基准前面，比基准元素大的移动到基准后面，通过一趟排序后，基准的位置是其最终位置，并将序列划分为两个子序列，左边子序列元素均小于基准，右边子序列均大于基准，然后...

原创 排序算法之冒泡排序

冒泡排序（Bubble Sort）冒泡排序属于元素间比较型排序，基本思想是：有N个元素，进行多趟排序，每趟排序会确定一个最大/小值放在末尾（从第一个元素开始进行相邻元素的两两比较，将当前最值不断往后移，最终满足要求的元素会放在末尾），经过N-1趟后整体有序冒泡排序采用两层循环：第一层：需进行N-1趟排序第二层：每趟进行i-1次比较，其中i为每趟待排元素个数排序的Java代码如下：public cl...

原创 内存之分页机制

背景知识 逻辑地址：指程序的地址空间，与内存的真实物理地址无关。物理地址（绝对地址）：是数据在内存中的实际地址。分页思想将进程的逻辑地址空间和真实内存地址空间划分为大小相等、固定的若干块。在进程中叫做页，内存空间中叫做页框，二者大小相等。进程由许多页构成，每页映射到内存中的一个页框中，操作系统为每个进程维护单独的页表，页表中的每个页表项存放页到页框的映射关系，这样进程可离散地存放于内存中，有效提高...

原创 内存之内存分区

固定分区即对内存分区，形成若干大小固定的区域。固定分区的两种策略大小相等使用大小相等的固定分区缺点：1.程序太大二不能放入一个分区中；2.程序太小，导致内存利用率很低（由于装入的程序块小于分区大小，导致分区内部存在空间浪费，产生内部碎片）大小不等使用大小不等的固定分区优点：可缓解上述两个缺点，但不能完全解决。固定分区缺点1.分区数量在系统生成阶段已经确定，因此限制了系统中活动进程的数量。2.小作业...

转载 浅谈基于机器学习的智能运维

本文转载自https://blog.youkuaiyun.com/BtB5e6Nsu1g511Eg5XEg/article/details/79588769 清华大学计算机系副教授裴丹于运维自动化专场发表了题为《基于机器学习的智能运维》的演讲，上篇参看“科研角度谈“如何实现基于机器学习的智能运维”文章，此为下篇。从百度运维实践谈基于机器学习的智能运维。以下为演讲实录，内容包括基于机器学习的智能运维的案例、挑战...

原创 MapReduce实验之WordCount

package cn.edu;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.ha

原创 MapReduce原理

简介MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段。每阶段都以键-值对作为输入和输出，其类型由程序员来选择。程序员还需要写两个函数：map函数和reduce函数。数据流Hadoop将作业分成若干个任务（task）来执行，其中包括两类任务：map任务和reduce任务。map阶段数据划分Hadoop将MapReduce的输入数据划分成等长的小数据

原创 线程同步

同步代码块语法格式如下：synchronized (obj) { ... }不同线程访问同步代码块时，必须先获取同步监视器obj对象才能执行同步代码块中的语句，否则只能等待；同步方法public synchronized void draw() { ... }同步方法的同步监视器就是调用该同步方法的对象，当执行完同

原创 线程

线程的两种常用创建方式1.通过继承Thread类，并重写Thread的run()方法2.通过实现Runnable接口，并重写该接口的run()方法两者区别，通过实现Runnable接口创建线程，多个线程可以共享同一个target对象，从而可以实现线程间的资源共享线程控制1.join控制join()方法可以让一个线程等待另一个线程完成。

原创 多线程

多线程案例/*同步函数用的是哪一个锁？*/class Ticket implements Runnable{ private int tick=1000; Object obj = new Object(); boolean flag =true; public void run() { if(flag) {

原创 匿名内部类

匿名内部类1. 就是内部类的简化写法。2. 定义匿名内部类的前提内部类必须是继承一个类或者实现接口前提存在一个抽象类或者接口3. 格式：new 类名或者接口名(){ 重写方法;}4. 其实匿名内部类就是一个匿名子类对象。而且这个对象有点胖。5. 匿名内部类中定义的方法最好不要超过5个。 小结本质是什么呢?是一个继承了该类或者实现了该接口的子类

原创 内部类

内部类概述把一个类定义在其他类的内部，这个类就被称为内部类。举例：在类A中定义了一个类B，类B就是内部类。内部的访问特点A:内部类可以直接访问外部类的成员，包括私有。 之所以可以直接访问外部类中的成员，是应为内部类中持有了一个外部类的引用Outer.this.成员变量。B:外部类要访问内部类的成员，必须创建对象。  格式 外部类名.内部类名  变量名 =

原创 java中的权限修饰符

权限修饰符 本类同一个包下（子类和无关类）不同包下（子类）不同包下（无关类）privateY   默认YY  protectedYYY public YYYY修饰符：权限修饰符：private，默认的，protected

原创 包（package）使用详解

包A:其实就是文件夹B:作用a:把相同的类名放到不同的包中b:对类进行分类管理包的定义package 包名;多级包用.分开即可注意事项A:package语句必须是程序的第一条可执行的代码B:package语句在一个java文件中只能有一个C:如果没有package，默认表示无包名带包的编译和运行A:手动式a:编写一个带包的

原创 处理器执行模式及操作系统内核的典型功能

大多数处理器至少支持两种执行模式：非特权态，即用户态特权态，即系统态、控制态或内核态用户态非特权态又叫用户态，用户程序通常在该模式下运行内核态内核态指操作系统的内核，是操作系统中包含重要系统功能的部分。操作系统内核态的典型功能如下：进程管理进程的创建和终止进程的调度和分派进程切换进程同步以及对进程间通信的支持进程控制块的管理内存管理

原创 抽象类与接口的区别

成员区别抽象类中的成员变量：可以是常量、也可以是变量，接口中成员变量：必须是常量抽象类中的方法：可以有抽象方法，也可以有非抽象方法，抽象类中不一定有抽象方法,但是有抽象方法的类必须定义为抽象类接口中的方法：必须都是抽象方法关系区别类与类之间 继承且为单继承类与接口之间 类实现接口，可以单实现，也可多实现接口与接口之间 继承，可以单继承，也可多继承设计理念区别

原创 静态代码块、构造代码块和构造函数执行顺序

一般情况下，静态代码块最先执行，且只执行一次其次是构造代码块执行，最后执行构造方法，其中，构造代码块和构造方法每次new对象时都会执行举例如下：class Student { static { System.out.println("Student 静态代码块"); //3 } { System.out.println("Student 构造代码块"); //4

原创 多态小结

多态的前提条件要有继承关系要有方法重写要有父类引用指向子类对象多态中的成员访问特点成员变量：编译看左边，运行看左边构造方法：创建子类对象的时候，访问父类的构造方法，对父类的数据进行初始化成员方法：编译看左边，运行看右边静态方法：编译看左边，运行看左边

原创 java数据类型转换新手易错

java数据类型转换分为强制类型转换和自动类型转换自动类型转换的规则有系统自动完成，从低级自动转向高级，规则如下：byte->short(char)->int->long->float->double例如：public class Test { public static void main(String[] args) { byte b =

原创 使用IDEA搭建SSM框架（IDEA+Maven+Spring+SpringMVC+MyBatis）

环境准备IntelliJ IDEA 2017.1.4 x64jdk1.8maven 3.3.91.新建maven项目步骤如下：1.1 File->new->project，创建Maven项目，选择webapp1.2 点击Next，填写GroupId、ArtifactId和Version1.3点击Next，设置Maven目录及相关配置文件1.4 点击Next，自动生成Project na...

原创 JDBC编程指南

JDBC编程大致需如下步骤；1.加载数据库驱动//加载驱动Class.forName(driverClass);2.通过DriverManager获取数据库连接//获取数据库连接Connection conn = DriverManager.getConnection(String url,String user,String pass);3.通过Connection对

原创 ssh免密码登录配置详解

前言目前有客户端C和服务器S两台主机，希望让C的root用户免密码登录到S的test用户，原理为：如果想让C登录到S，则将C的公钥送给S，并将该公钥添加至S的认证文件。具体可分如下几步进行：在客户端生成非对称密钥对执行：ssh-keygen -t rsa ，默认会在客户端C的root用户目录下生成.ssh文件夹，并在文件夹下生成id_rsa（私钥）和id_rsa.pub（公钥）将客

原创 git 初级使用教程

git本地仓库最重要的三部分工作目录暂存区版本库（HEAD指向当前分支，默认为master分支）将本地仓库文件推送至远端仓库步骤 现在GitHub上Create仓库在本地新建git目录，并将本地仓库推送至远端，并和远端仓库关联,见3git remote add origin https://github.com/swjtuzbko/MavenDeom.git 将本地仓库推送至远端git ad......

转载 IntelliJ IDEA（2017）安装和破解

本文转载自：http://blog.youkuaiyun.com/c__chao/article/details/70941504一、下载并安装， IntelliJ IDEA的官网：https://www.jetbrains.com二、破解。百度下载一个 JetbrainsCrack-2.6.2.jar 破解补丁。放在你的安装idea下面的bin的目录下面。

转载 一致性哈希算法(consistent hashing)

转载自：http://blog.youkuaiyun.com/cywosp/article/details/23397179    一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 

转载 IE6与W3C标准的盒模型差异

盒子模型（Box Model）是 CSS 的核心，现代 Web 布局设计简单说就是一堆盒子的排列与嵌套，掌握了盒子模型与它们的摆放控制，会发现再复杂的页面也不过如此，然而，任何美好的事物都有缺憾，盒子模型有两种不同的诠释，一种来自 IE6，一种来自 W3C 标准浏览器。盒子模型下图就是一个典型的盒子模型示意图 在内容区外面，依次围绕着 padding 区，bor

转载 标准盒子模型和IE盒子模型

盒子模型是css中一个重要的概念，理解了盒子模型才能更好的排版。其实盒子模型有两种，分别是 ie 盒子模型和标准 w3c 盒子模型。他们对盒子模型的解释各不相同，先来看看我们熟知的标准盒子模型：从上图可以看到标准 W3C 盒子模型的范围包括 margin、border、padding、content，并且 content 部分不包含其他部分。　从上图可以看到 IE

原创 Java引用变量调用方法时的

Java引用变量有两个类型，分为：编译时类型和运行时类型编译时类型：即声明引用变量时的类型运行时类型：即生成的对象的类型例如：Animal a=new Dog();其中编译时类型为Animal,运行时类型为Dog.当相同类型的引用变量调用具有继承关系类中的方法时，就有可能出现多态。【当把一个子类对象直接赋给父类引用变量时，这个父类引用变量的编译时类型为父类，而运行时类型为子

原创 聚集、group by、having语句执行原理

执行步骤解析：最先根据from子句来得出一个关系。如果出现了where子句，where子句的条件将应用到from子句的结果关系上。如果出现了group by，满足where条件的元组通过group by子句形成分组。如果没有group by子句，满足where条件的整个元组被当作一个分组。如果出现了having子句条件，它将应用到每个分组上；不满足having子句条件的分组将被丢弃。sel

原创 split文件切割命令

split   -bl  filename  prefilename注：-b：可接欲切割成的文件大小，可加单位，如b，k，m等       -l：以行数进行切割例：   按指定文件大小切割：    split  -b  200m  a.txt result   以制定行数切割：    split   -l  1000   a.txt   result

原创 Linux的file命令

用来识别文件类型及文件的编码格式例：[root@DB-Server ~]# file Temp.txt  Temp.txt: UTF-8 Unicode text, with very long lines, with CRLF line terminators