一枚程序员的博客

原创 机器学习基础支持向量机

1 什么是支持向量机？支持向量机，support vector machine，支持向量机模型是指由支持向量支撑的模型，在这个模型中，仅支持向量起到作用，而非支持向量对模型没有作用。假设此时是一个而二维平面，我们需要将+和-点分开，显然这条线很多种可能，那么我们要找到最优的那条边界，那么这条边界的定义就是离这个边界最近的点，使得这个点离边界最远。通俗的将就是找离这条先最近的点，得到距离L，那么我们希望这个L越大越好。这条线就叫做决策边界。通过决策变量，此时就可以将将两组样本分割开来。那么上下两条边

原创 机器学习基础 决策树

1 决策树是什么？决策树算法是机器学习中最经典的算法之一。大家可能听过一些高深的算法，例如在竞赛中经常使用的Xgboost、各种集成算法等，他们都是基于树模型来建立的，所以掌握那些模型，首先我们需要掌握决策树。树：有一个根节点，由根结点开始，不断的扩展，最终到达叶子结点，叶子结点就是最终的点，后面就无法扩展了。（相关数据结构可以自行补齐）决策树的原理和搜索二叉树的原理差不多，从根结点开始，每次经过一个结点，都需要判断走左边还是右边，最终目标结点，那么达到目标结点的过程就是决策的过程。根节点：数据的聚

原创 机器学习基础 LR学习

1 LR是什么？LR全称Logistic Regression，逻辑回归。虽然名称中带有回归。逻辑回归，可以做分类的事情，也可以做回归的事情。通常来讲，机器学习分为分类和回归两种模型，分类做的是离散值的预测，比如0，1，真，假等，回归做的是连续值的预测，比如概率，温度等。例如：用逻辑回归实现一个猫分类器，输入一张图片 x ，预测图片是否为猫，输出该图片中存在猫的概率结果 y。Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regressi

原创 PAT甲级开始啦

flag,今天开始刷PAT甲级

原创 Java整理关键词

ConcurrentHashMapvolatileCASAtomicInteger分析（CAS）++i是怎么实现的红黑树jvm与并发编程hashmap源码及hashmap的问题concurrentHashMap分段锁-jdk1.7ConcurrentHashMap乐观锁-jdk1.8NIO,IO,异同，以及NIO特点，详细过程mysql索引结构jvm gc调优（参数调优）线程池的一些参数dubbo...

原创 Shell编程-自定义函数和shell脚本调试

1.自定义函数函数代表着一个或一组命令的集合，表示一个功能模块，常用于模块化编程一下是关于函数的重要说明    在shell中，函数必须先定义，再调用    使用 return value来获取函数的返回值    函数在当前shell中执行，可以使用脚本中的变量函数的格式如下：函数名(){ 命令1... 命令2...}标准格式：其中function和()可省略，至少保留一个[ function ]...

原创 Shell编程-流程控制语句

1.流程控制语句if fi组合case esac组合do done组合{}组合1）if单分支if条件语句格式：if [ 条件判断式 ]   then     程序fi或者if [ 条件判断式 ]; then    程序fi多分支if [ 条件判断式 ]   then     程序elif [ 条件判断式 ]   then    程序else    程序fi例子：#!/bin/bashread -p...

原创 Shell编程-条件判断

1.test语法 test expression或[ expression ][ expression ]更加常用2例子1）判断字符串是否相等test str1==str2例子：[root@VM_0_16_centos ~]# test '12'=='12'[root@VM_0_16_centos ~]# echo $?0另一种写法：[root@VM_0_16_centos ~]# [ "12"=...

原创 Shell编程-运算符

1.运算符格式：expr m + n  对整数型变量进行运算，注意expr后面，+号两端都有空格$((m+n))  例子：[root@VM_0_16_centos ~]# expr 3 + 25[root@VM_0_16_centos ~]# num3=`expr $num1 + $num2`[root@VM_0_16_centos ~]# echo $num33[root@VM_0_16_cen...

原创 Shell编程-read命令

1.read读取输入的值语法 read[选项] 值-p 提示语句 -n 字符个数-t 等待时间，秒-s 隐藏输入2.例子：等待3秒输入，提示语句please input your name:#!/bin/bashread -t 3 -p "please input your name:" nameecho $name保存，并chmod +x read.sh执行：./read.sh可以看到，3秒后就...

原创 shell复习一下

shell编程命令解释器   用户<-> kernel3中执行方式绝对路径、相对路径bash.或者source上面两种会新建一个新的bash环境进行执行第三种则是在当前环境中执行export   当前环境-》当前环境+任意子环境变量：自定义变量环境变量位置参数$n$*$@$# 参数个数预定义变量$$ $? 显示上一条命令的执行结果&& 逻辑与操作...

原创 Shell编程-shell变量2-位置变量和预定义变量

1.位置变量例子：#!/bin/bashecho '$0='$0echo "$1="$1echo "\$2="$2echo "\$*="$*echo "\$@="$@echo "\$#="$#可以看到$@和$* 显示了所有的参数$#显示了几个参数$n表示了第几个参数$0表示命令本身（也算一个参数）[root@VM_0_16_centos es]# /home/es/shell1 1 a 2 c a...

原创 Shell编程-shell变量1

1.shell变量：变量：是shell传递数据的一种方式，用来代表每个取值的符号名2.shell变量设置规则不能以数字开头变量默认都是字符串类型[root@VM_0_16_centos es]# num3=$num+$num2[root@VM_0_16_centos es]# echo $num312+13如果变量有空格，需要使用单双引号[root@VM_0_16_centos es]# pro=...

原创 Shell编程-创建和执行

1.创建sehll脚本一个shell脚本包含的内容1）首行  #!/bin/bash表示使用bash解释器注意：第一行的#特殊，表示定义，其他行则表示注释2）注释除第一行外的其他行，行首加上#即可3）内容创建一个shell脚本1）创建一个shell文件方法很多：touchvi/vimecho "" > 文件名2）编辑内容：#!/bin/bash#this is my first sehll ...

原创 Shell编程-基础

1.shell是什么？就是命令解释器，是用户访问系统的接口。shell还是一门编程语言，shell是一种解释执行的编程语言。shell是从前往后执行的。一个操作系统中可以存在多个shell[root@VM_0_16_centos ~]# cat /etc/shells/bin/sh/bin/bash/sbin/nologin/usr/bin/sh/usr/bin/bash/usr/sbin/nol...

转载 架构图整理

转载 在Idea 内搜索添加Maven 依赖

1）下载到过本地repository 的依赖，可在Setting 内更新本地索引，如下图，这样就可以在pom.xml，用alt+insert 来搜索添加本地的dependency，或者手动写也有提示。如果没找到的话就Update 一下local 索引。2）远程目录下载很慢，硬等着下载好了。然后应该就可以直接在pom.xml 搜索所有的依赖了，不用上mvnrepository.com 查了。下载了的...

原创 配置本地yum源

配置本地yum源？为什么需要配置，因为没有网络时，无法下载到yum对应的软件，所以无法安装，需要配置本地的yum源。默认的yum源：配置文件：/etc/yum.repos.d/CentOS-Base.repo可以执行cat：默认的安装源和update源都在下面配置。[extras]gpgcheck=1gpgkey=http://mirrors.tencentyun.com/centos/RPM-G...

原创 Mac OSX 10.12显示通用中的任何来源

　Mac OSX 10.12系统的任何来源选项不见了怎么办?Mac OSX 10.12系统里没有任何来源选项怎么解决？如果你已经升级到了macOS Sierra，你肯定会发现许多第三方应用都不能安装了，在升级了macOS Sierra (10.12)版本后在“安全性与隐私”中不再有“任何来源”选项。下载吧小编在这里就教大家在macOS Sierra系统中如何打开“任何来源选项。　　大家都知道，ma...

原创 pom文件第一行报错org.apache.maven.plugins:maven-surefire-plugin:pom:2.12.4 from https://repo.maven.apache.o

错误代码：Description Resource Path Location TypeFailure to transfer org.apache.maven.plugins:maven-surefire-plugin:pom:2.12.4 from https://repo.maven.apache.org/maven2 was cached in the local repository, ...

原创 maven 不能设置为web3.0人解决方法

maven 不能设置为web3.0人解决方法错误： Description    Resource    Path    Location    Type Cannot change version of project facet Dynamic Web Module to 3.0.   以下是在GG搜索到的。http://stackoverflow.com/questions/75786/ec...

原创 Spring Boot学习6：Spring Boot JDBC

1 数据源数据源是数据库连接的来源，通过DataSource接口获得数据源类型1）通用型数据源（javax.sql.DataSource）主要使用场景：通用型数据库，本地事务，一般通过Socket方式连接2）分布型数据源（javax.sql.XADataSource）主要使用场景：通用型数据库，分布式事务，一般通过Socket方式连接3）嵌入式数据源（org.springframework.jdb...

原创 Spring Boot学习5：spring-boot web容器

1传统Servlet容器1.1Eclipse Jetty：是一个嵌入式的容器，最新版本jetty9.0。支持的功能如下：    异步http server    标准的servlet容器    websocket    http/2 server    asynchronous Client(http/1.1, http/2, websocket)  Java7开始才有AIO    OSGI,JN...

原创 Spring Boot学习4：web篇（下）-Spring boot （Servlet，Jsp）学习

1.传统Servlet回顾什么是Servlet：小服务端应用，是一种基于Java的web组件，用于生成动态内容，由容器管理。servlet是平台无关的java类组成，并且由Java web服务器加载执行什么是Servlet容器？Filter生命周期Servlet生命周期2.Servlet On Spring Boot1）Servlet组件扫描org.springframework.boot.web...

原创 Spring Boot学习3：web篇（中）-Spring boot Rest学习

--REST理论基础1.架构属性性能可伸缩性统一结构简化性：如URI，RequestHeader，RequestBody等等组件可修改性：组件通讯可见性组件可移植性可靠性2.架构约束C/S架构无状态可缓存：两个方面，服务端和客户端分层系统按需代码统一接口3.统一几口（Uniform Interface）资源识别：URI资源操作：GET（取资源）,POST（非幂等性，实现的时候需要实现幂等性）,PU...

转载 ElasticSearch的Java Api基本操作入门指南

ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎框架。分布式是其最大的特点。安装比较简单，如果单机运行的话直接下载解压，在命令行下运行bin/elasticsearch就行了（win的dos和linux的窗口都行）。它能够通过http、restful、thrift等方式访问。不过今天我们看的是使用最普通的java api来测试其功能。 ja

转载 Intellij IDEA 像eclipse那样给maven添加依赖

打开pom.xml,在它里面使用快捷键：ALT+Insert  ————>点击dependency再输入想要添加的依赖关键字，比如：输个spring   出现下图:根据需求选择版本，完成以后结果如下图：

转载 tomcat通过ssh代理连接到内网数据库服务器

项目的测试数据库服务器是在某内网的，现在要通过ssh的代理隧道，连接到内网的数据库解决方法：用xshell连接到ssh服务器打开查看-隧道窗体新建转移规则类型： Local(Outgoing)源主机： localhost(自己开发电脑的ip)侦听端口： 1521目标主机： 192.168.101.102(ssh的局域网ip都可以)目标端口： 1521这一步lin

原创 ElasticSearch60：Java api操作ElasticSearch5.2

1.创建Maven项目的时候，因为是公司内网，所以需要解决代理的问题，配置代理2.创建Maven项目3.配置pom.xml，引用jar包4.编码

原创 Maven配置问题

1.今天在公司配置meven的时候，基本的配置都ok了，使用mvn -version也可以看到maven的版本号了，说明maven安装ok。但是在IDEA中创建maven项目的时候，发现，一直无法下载到jar包文件。原因：公司内网下载资源，需要配置代理在Maven的conf目录下的setting.xml文件中，配置代理：去除了注释的版本：<settings xmlns="ht

原创 IDEA代理问题

今天，在使用IDEA下载东西的时候，发现一直没办法进行下载，调试了半天无果，问了同事，发现是代理的问题，公司内网项目需要配置代理。IDEA配置代理，是在File-&gt; Setting中设置图片地址：http://img.my.youkuaiyun.com/uploads/201801/11/1515637911_8419.png...

原创 ES参考文章

1.Elasticsearch5.0.1 + Kibana5.0.1 + IK 5.0.1安装记录http://www.cnblogs.com/kamong/p/6099914.html2.

原创 ElasticSearch58：内核原理揭秘_最后优化写入流程实现海量磁盘文件合并(segment merge, optimize)

1.每秒一个segment file，文件过多，而且每次search都要搜索所有的segment，很耗时默认会在后台执行segment merge操作，在merge的时候，被标记为deleted的document也会被彻底物理删除每次merge操作的执行流程1）选择一些有相似大小的segment，merge成一个大的segment2）将新的segment flush到磁盘上去3

原创 ElasticSearch58：内核原理探秘_继续优化写入流程实现durability可靠存储(translog,flush)

1.上一篇文章中提到index segment只要刷入到os cache后，就打开供查询，这个操作是非常危险的，一旦未将数据刷入到os disk，而此时数据丢失，将会导致不可逆的问题。所以本篇补充，继续进行优化docuemnt写入流程。2.最终的优化的写入流程：1）数据写入buffer缓冲和translog日志文件中。当你写一条数据document的时候，一方面写入到buffe

原创 ElasticSearch57：内核原理探秘_优化写入流程实现NRT近实时(filesystem cache,refresh)

1.现有流程的问题，每次都必须等待fsync将segment刷入磁盘，才能将segment打开供search使用，这样的话，从一个document写入，到它可以被搜索，可能会超过一分钟！！！这就不是近实时的搜索了！主要瓶颈是在fsync实际发生磁盘IO写数据进磁盘，是很耗时的。写入流程改进：1）数据写入到内存buffer队列中2）每隔一定时间，buffer中的数据被写入segm

原创 ElasticSearch56：内核原理探秘_深度图解剖析document写入原始(buffer,segment,commit)

1.数据docuemnt往es中写的时候发生了什么？一个document写入es中时，1）首先写入到内存buffer缓冲中2）每次buffer满的时候，会进行提交操作commit point，将buffer中的数据写入到index的segment中（一个index有多个segment）   在es底层，用的是lucense，lucense底层的index是分为多个segment的，

原创 ElasticSearch54：索引管理_复杂上机实验：基于scroll+bulk+索引别名实现零停机重建索引

1.重建索引一个field的设置是不能修改的，如果要修改一个field，那么应该重新按照新的mapping，建立一个index，然后将数据批量查询出来，重新用bulk api写入到index中。批量查询的时候，建议采用scroll api，并且采用多线程并发的方式来reindex数据，每次scroll就查询指定日期的一段数据，交给一个线程即可。1）一开始，依靠dynamic map

转载 分享一个跳一跳的刷分程序程序（python）

https://github.com/wangshub/wechat_jump_game仅供娱乐，切勿破坏游戏的公平

原创 ElasticSearch53：索引管理_定制自己的dynamic mapping策略

1.定制dynamic策略true：遇到陌生字段，就进行dynamic mappingfalse：遇到陌生字段，就忽略strict：遇到陌生字段，就报错例子：PUT /index0{ "mappings":{ "my_type":{ "dynamic":"strict", "properties": { "title":

原创 ElasticSearch52：索引管理_mapping root object深入剖析

1.root object是什么？就是某个type对应的mapping json，包括properties，metadata（_id，_source，_type），settings(analyzer),其他settings（比如include_in_all)其中，下面的{            "properties":{            }            .