wkCaeser_-优快云博客

原创 elasticsearch数据迁移

reindex官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docs-reindex.html_reindex API支持以某个索引为数据源构建一个新的索引。如果elasticsearch的版本小于5.0，_reindex API只支持集群内部的索引重构迁移。如果elasticsearch的版本为5.0及以...

2018-12-19 12:00:40 3009

原创 elasticsearch6.4.2线上使用配置

系统参数：# 修改linux内核内存分配策略sysctl vm.overcommit_memory=1# 尽可能少的使用swap sysctl vm.swappiness=0# 修改tcp-backlog（socket监听队列的值）sysctl net.core.somaxconn=1024# 修改mmap计数sysctl vm.max_map_count=262144v...

2018-12-14 09:53:04 1983

原创 centos7修改hostname

hostname取值逻辑如果存在/etc/hostname文件，读取其内容为localhost。hostname的配置文件为/etc/sysconfig/networkhostname为linux系统内核参数，保存在/proc/sys/kernel/hostname其值是linux启动时从rc.sysinit读取的。如果存在/etc/hostname，其内容为localhost，...

2018-12-13 11:25:04 1199

原创 java socket的正确关闭姿势

java socket对应的是网络协议中的tcp，tcp的三次握手、四次挥手、11中状态什么的这里就不说了，不知道大家平常使用socket的时候如果不注意的情况下，会不会遇到各种异常报错。例如：java.net.SocketException:socket is closed错误提示的出现场景：自己主动关闭了socket，但是之后还从里面读写数据Software caused conn...

2018-11-17 19:15:12 49419 18

原创 elasticsearch分片移动操作

分片移动触发条件创建/删除一个Index；加入/离开一个Node；手动执行了Reroute命令；修改了Replica设置；Allocate策略，明确指定是否允许分片分配到指定Node上，分为index级别和cluster级别https://www.elastic.co/guide/en/elasticsearch/reference/master/allocation-filter...

2018-11-08 18:09:59 5763

原创 redis线上配置

基础部分redis.conf(修改部分)bing ipprotected-mode no # 不建议应该使用密码daemonize yespidfile /home/redis/pids/redis_6379.pidlogfile "/home/redis/logs/redis_6379.log"databases 256dir /home/redis/data/slave-p...

2018-11-08 09:31:43 1152

原创 io.undertow.servlet包NullPointerException问题

错误提示：2018-11-07 14:52:37.350 ERROR 4004 — [ XNIO-1 task-5] io.undertow.request : UT005022: Exception generating error page /errororg.springframework.web.util.NestedServletExcept...

2018-11-07 15:11:44 10257

原创 springboot排除数据库以及mongo的自动配置

测试某个功能时，新建了一个项目，因为要保证依赖相同，所以直接把依赖pom文件直接复制过来，但是依赖中有mongo的依赖，导致了springboot自动配置了mongo，但是并没有配置mongo的信息，导致初始化的连接报错，解决办法，直接排除mongo的自动配置。数据库的DataSource同理，错误提示为：Description:Cannot determine embedded datab...

2018-11-07 12:06:28 6553 4

原创 Caused by: java.lang.NoClassDefFoundError: org/hibernate/validator/internal/engine/DefaultParameterN

Caused by: java.lang.NoClassDefFoundError: org/hibernate/validator/internal/engine/DefaultParameterNameProviderat org.hibernate.validator.internal.engine.ConfigurationImpl.(ConfigurationImpl.java:128...

2018-11-07 11:50:45 7464

原创 elasticsearch2.x升级到6.x 完成数据迁移

官方文档方法描述：https://www.elastic.co/guide/en/elasticsearch/reference/current/reindex-upgrade-remote.html官方对于版本升级的规则描述：https://www.elastic.co/guide/en/elasticsearch/reference/current/rolling-upgrades.html...

2018-11-06 18:37:47 5016 1

原创 elasticsearch集群参数修改

elasticsearch.yml中尽量只写必备的参数，其他可以通过api动态设置的参数都通过api来设定动态设定的参数有transient和persistent两种设置，前者在集群重启后会丢失，后者不会，但两种设定都会覆盖elasticsearch.yml中的配置。PUT /_cluster/settings{ "persistent": { "discovery.zen.mi...

2018-11-06 18:21:50 1517

原创 logstash安装使用及使用filter处理日志示例

下载logstash(最好下载与es相同的版本，这里为了测试下载的低版本)wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz解压tar -zxvf logstash-2.3.4.tar.gz运行测试# 使用标准输入输出./logstash-2.3.4/bin/logstash -e 'in...

2018-11-01 11:40:05 2999

原创通过nginx代理无密码访问开启了x-pack验证的elasticsearch

在有些工具中，并没有提供elasticsearch的用户名密码接口，而如果elasticsearch开启了x-pack验证，用户名密码又是必须参数。如果去修改工具实现，代价又太大，所以我们可以选择使用nginx反向代理，使用nginx为请求增加验证，达到无密码访问兼容老工具的目的。首先，elasticsearch中配置允许通过请求头来验证：http.cors.allow-headers: Au...

2018-10-30 15:54:07 1682 2

原创 elasticsearch x-pack启用及破解

声明：此教程只用于学习，如有商业用途请购买收费版。elasticsearch版本6.4.2启用x-apck安装elasticsearch后启动服务。[2018-10-29T19:07:09,614][INFO ][o.e.t.TransportService ] [es-wk-node-1] publish_address {127.0.0.1:19300}, bound_addres...

2018-10-30 11:25:10 18920 7

原创 crontab任务堆积导致启动大量进程的处理（flock）

crontab在执行任务过程中，可能由于任务执行错误或者在下一个任务开始前，前一个任务没有执行完成，导致大量的进程产生，最后导致死机等。可以使用flock来加锁防止启动大量进程：flock [-sxon][-w #] file [-c] command-s, --shared: 获得一个共享锁-x, --exclusive: 获得一个独占锁-u, --unlock: 移除一...

2018-10-24 15:27:30 4099

原创 crontab执行任务时命令无法查到到命令

crontab在运行时，环境和用户环境并不相同，可能会出现有些命令无法查找到的情况，这时候在脚本中将命令的路径引入即可，例如加入以下语句：PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin...

2018-10-24 15:21:43 5041

原创 linux ssh免密登录（scp免密操作）

使用ssh相关命令，如scp等的时候，输入密码是很麻烦的事，而且有时候需要做自动化操作，这个时候还要人手动输入密码就没法玩了，我们可以通过配置rsa私钥和公钥的方式来免密ssh登录。假设有两台机器，实现A到B的免密登录：hostA：192.168.11.1hostB：192.168.11.21、在主机A生成秘钥对ssh-keygen -t rsa一路回车，最后会生成秘钥对：You...

2018-10-09 16:18:52 13704 3

原创 Dynomite入门指南

dynomite原理简介项目地址：https://github.com/Netflix/dynomite文档地址：https://github.com/Netflix/dynomite/wikiredis命令支持情况：https://github.com/Netflix/dynomite/blob/dev/notes/redis.md下载地址：https://github.com/...

2018-09-29 17:21:06 5431 8

原创 twemproxy安装访问及同机部署多实例

twemproxy是干啥的网上讲的很多，这里就不提了。项目github地址：https://github.com/twitter/twemproxy/releasestwemproxy不支持事务操作twemproxy支持的命令情况：https://github.com/twitter/twemproxy/blob/master/notes/redis.md首先安装配置redis，此处略过。...

2018-09-28 15:11:07 901

原创 redis sentinel的脚本机制及实现twemproxy主从自动切换

redis sentinel 脚本机制1).sentinel notification-script  通知型脚本:当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本，这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，一个是事件的类型，一个是事件的描述。如果...

2018-09-28 14:46:14 1342

原创 redis监控工具

redis-monitor项目github地址：https://github.com/NetEaseGame/redis-monitor （看作者名称，应该是华科的）# 安装 pip install redis-monitor#初始化 redis-monitor init#启动nohup redis-monitor start &amp;amp;amp;amp;amp;gt; redis-monitor.log &amp;amp;amp;amp;amp;a

2018-09-28 14:07:33 2303 2

原创 python 脚本工具

python ssh连接远程操作# coding=utf-8import paramiko# 创建ssh对象ssh = paramiko.SSHClient()# 把要连接的机器添加到known_hosts文件中ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())# 连接服务器ssh.connect(hostname...

2018-09-28 14:06:26 873 2

原创 redis-sentinel 常用命令

# 重置名字匹配正则表达式的所有master状态信息，清除之前存储的状态信息和slaves信息。PS：节点只要加入过sentinel，信息就会保存而不会自动清除 sentinel reset <pattern># 用于改变关于master的配置，例如 sentinel set mymaster down-after-milliseconds 1000 ,此命令修改了当节点第一次...

2018-09-28 14:05:25 17009 1

原创 java 线程分析 jps jstack 分析死锁

jstack可以导出线程信息在启动java项目时，会打印对应的端口信息，通过端口我们可以查询到对应的进程idlinux下：netstat -tunlp | grep [port]windows下：netstat -ano | findstr [port]然后使用jstack就可以导出对应的线程信息：jstack [进程id] &gt; [导出文件存储的位置]测试代码如下：p...

2018-09-24 16:19:03 839

原创 npm WARN deprecated bfj-node4@5.3.1: Switch to the `bfj` package for fixes and new features

npm install 报错npm WARN deprecated bfj-node4@5.3.1: Switch to the bfj package for fixes and new features!npm ERR! Unexpected end of JSON input while parsing near ‘…alse,“deprecated”:"Br’npm ERR! A c...

2018-09-22 13:27:31 5462

原创 docker基本使用

命令# 查看本机docker运行的实例情况docker ps# 查看本地的镜像docker images# 获取新的镜像docker pull reposity_name# 查找镜像docker search reposity_name# 和容器进行交互 # docker run是允许容器 # -i 允许标准输入# -t 在容器内指定终端# -d 后台运行...

2018-09-20 15:22:14 220

原创 docker安装

centos安装# 安装系统工具yum install -y yum-utils device-mapper-persistent-data lvm2# 添加软件园信息yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 更新yum缓存yum ma...

2018-09-20 12:29:28 227

转载 Gossip 数据传输协议

Hyperledger Fabric通过在交易执行（endorsement和committing）peer节点和交易ordering节点之间划分工作负载来优化块链网络性能，安全性和可扩展性。网络操作的这种解耦需要一个安全，可信的和可扩展的数据传播协议，以确保数据的完整性和一致性。为了满足这些要求，Hyperledger Fabric实现了Gossip数据传播协议。Gossip协议Peer利用g...

2018-09-20 10:08:29 716

原创 dubbo2.6.3 依赖冲突异常解决过程

首先按照官网的示例，只加入了以下依赖： <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.6.3</versio...

2018-09-17 19:12:53 2615 1

原创 spring-cloud 组件简单使用

本文主要简单讲述了spring cloud组件简单集成的配置及代码（只有简单使用方法，没有原理之类的讲解）。代码github地址：https://github.com/wkcaeser/spring-cloud-demo/tree/masterNetflix-eurekaeureka servereureka server主要提供服务注册和发现的功能依赖： ...

2018-09-16 19:03:58 681 1

原创 redis哨兵集群配置

redis master参数配置： redis.conf#无变化需要注意的是host# redis中默认的启动了保护模式，如果没使用密码，且ip不是127.0.0.1的话，需要关闭保护模式protect-mode：no# 其他节点也一样#host 需要填写client可以访问的ip# 例如client和实例在一个机器上，可以使用127.0.0.1# 如果client...

2018-09-02 21:02:34 678

原创 elasticsearch的rack_id和zone的使用来实现es的定向请求和有意识的分区备份

在使用es时，我们有时候希望分片分布在特地的机器上，或者希望请求在某些机器上执行，es为我们提供了Shard Allocation Awareness的概念，即通过用户对集群节点的标识，es集群会自动的去为节点划分区间，然后根据节点所处区间，为节点分配primary shard和replica。其主要通过rack_id和zone来实现。官方文档实例有两个标记选项：rack_id和zon...

2018-09-02 20:36:13 2466

原创各版本lettuce sentinel spring集成流程（连接池、哨兵配置）

spring-data-2与其上一个版本1.8是一个分水岭，2.0用的是io.lettuce:lettuce-core,2.0之前的spring-data用的是biz.paluch.redis:lettucespring-data-2.0以上版本配置spring-data-redis版本2.0.9.RELEASE io.lettuce:lettuce-core版本5.0.4.RELE...

2018-08-30 18:53:42 5247 1

原创 elasticsearch本地集群搭建及远程服务器搭建注意事项及kibana配置

首先下载解压elasticsearch压缩包，我使用的版本为elasticsearch-6.3.2-2，解压后的路径为E:\elasticsearch-6.3.2-2。在解压目录下有config文件夹，里面有elasticsearch.yml文件，这个即为我们需要修改的配置文件。修改以下配置# 这个参数必须设置此参数是用来允许单机允许多个实例，默认不允许node.max_lo...

2018-08-15 15:18:08 3726

原创 IDEA2018版本插件无法安装，连接超时问题

因为IDEA使用了HTTPS的原因，在配置里面去掉HTTP的勾选即可。如下图所示：还一种方式就是在显示连接超时时，会提示下载的地址，将下载地址复制到游览器然后下载，下载完后选择从磁盘安装即可。...

2018-08-08 10:28:51 3510

原创 springmvc的路径参数中存在小数点导致数据被截断的问题

在使用restful风格编写接口时，路径参数是很常见的，有时候路径参数中会有小数，例如http://localhost/xxx/{xxx}/{yyyy}http://localhost/test/pathVal1/xx1.11这时候会发现第二个路径参数接收到的实际值为xx1，后面的.11被截断了。这是由于springmvc的路径后缀匹配模式导致的。解决办法，关闭路径后缀匹配...

2018-07-31 17:46:56 1520

原创 java.lang.RuntimeException: can not run elasticsearch as root

elaticsearch默认不能用root用户启动，所以会报java.lang.RuntimeException: can not run elasticsearch as root异常。解决方法有两类： 1、修改elaticsearch配置，使其可以允许root用户启动（不建议）#在执行elasticSearch时加上参数-Des.insecure.allow.root=true，完整...

2018-07-30 15:13:15 20163 3

原创 linux创建新用户并将为其赋予权限

以下命令都在root用户下操作创建新用户es：adduser es为es用户设置密码passwd es#后面会让输入两次密码将为es用户赋予某个文件夹权限：#文件夹归属组 #chown -R [用户]:[所属组] 目录 chown -R es:es elasticsearch-6.3.2/ #修改文件夹权限 chmod 770 elasticsearch...

2018-07-30 15:07:24 18403 1

转载 elaticsearch入门教程

全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装，提供了 REST AP...

2018-07-30 11:09:19 2556

原创 Jenkins安装及拉取远程项目并打包生成

       Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。        使用Jenkins可以自动进行项目的打包发布等工作，这里讲下Jenkins

2018-07-28 11:57:54 2876

mybatis-plugins

springboot-helloworld

springThymeleafDemo

springmvc与apache tiles整合demo

java 自定义注解如果自动调用