禅剑一如-优快云博客

原创 tsl证书制作

一、自定义认证中心1.创建根证书密钥文件openssl genrsa -out ca.key 20482.创建自签名根证书openssl req -x509 -sha256 -new -key ca.key -sha256 -days 3650 -out ca.crt二、服务端1. 创建服务端密钥openssl genrsa -out server.key 20482. 创建服务端证书签名请求文件openssl req -new -key server.key..

2020-09-02 18:34:11 765

原创 Springboot异常处理

一、异常处理开关配置1. application.yml配置文件中新增配置spring: errors: controller: true attributes: true controller-advice: true二、定义异常类1.NonExistingUserException.javapackage com.zsx.exception;import lombok.extern.slf4j.Slf4j;@Slf4jpublic clas.

2020-08-22 16:27:01 1341

原创 Springboot下的WebRequest获取Requestbody参数

背景：因为RequestBody是以流的形式读取，流读取一次以后就没有了，所以HttpServletRequest 的 getInputStream() 和 getReader() 都只能读取一次。如果想要通过WebRequst再次获取RequestBody中的参数，首先需将RequestBody保存，然后通过自定义HttpServletRequestWrapper类，重写当中getReader()和getInputStream()方法；然后再通过Filter中将ServletRequest替换为自定的Ht

2020-08-22 15:30:49 3418

原创 kibana配置x-pack

背景：基于上篇es配置x-pack一、编辑文件1 在es-docker-compose.yml配置文件中新增kibana配置 kibana01: image: docker.elastic.co/kibana/kibana:7.7.0 container_name: kibana01 environment: CERTS_DIR_KIBANA: ${CERTS_DIR_KIBANA} volumes: - ${PWD}/config/.

2020-07-14 15:34:54 2860

原创 es配置x-pack

环境背景：Ubuntu 20.04 LTS、es-7.7.0、docker-19.03.8、docker-compose-1.25.5参考链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-tls-docker.html一、新建文件1.1在目录/data/operations下分别创建如下3个文件1.1.1 .env文件内容# Use an es_ prefix for al.

2020-07-14 12:04:06 1395

原创 metricbeat收集http指标

背景：在metricbeat收集redis日志以及系统日志、python接收请求参数基础上进行，部分简单内容省略一、查看容器ipdocker inspect metricbeat | egrep IPAddress二、编辑metricbeat.yml配置文件1. 新增http模块的配置 #--------------------------------- HTTP Module --------------------------------- - module: ht.

2020-07-03 16:51:13 916

原创 springboot整合es7.8

注：此处spirngboot部分省略背景：在gradle项目整合flyway、jooq插件基础上进行一、引入依赖implementation group: 'org.elasticsearch.client', name: 'elasticsearch-rest-high-level-client', version: '7.8.0'二、添加配置# ES配置es: hosts: [zsx-2.local:9200] scheme: http三、四、...

2020-07-02 09:41:28 1181

原创 python接收请求参数

#!/usr/bin/python3# -*- coding: UTF-8 -*-import randomimport stringfrom flask import Flask, jsonify, requestapp = Flask(__name__)@app.route('/api', methods=['GET'])def get_port(): """ 无参 curl -X GET 'http://192.168.1.110:8001/api'.

2020-06-29 14:23:31 2086

原创 docker演示nginx负载均衡

背景：在上篇docker演示nginx反向代理基础上继续一、编写脚本1. 分别编写load_balancing_8000.py、load_balancing_8001.py脚本（注意脚本对应端口分别为8000、8001）#!/usr/bin/python3# -*- coding: UTF-8 -*-from flask import Flaskapp = Flask(__name__)@app.route('/api', methods=['GET'])def get_..

2020-06-24 11:33:13 163

原创 docker演示nginx反向代理

注：此处部分简单说明省略一、拉取镜像docker pull nginx:stable二、编写配置1. docker-compose.yml配置version: '3.1'networks: shared: external: name: sharedservices: nginx: image: nginx:stable container_name: nginx# restart: always ports:

2020-06-24 10:20:42 206

原创 wsl2中重启容器shell脚本

#!/bin/bashset -xset -etry_again_start() { for i in $(seq 1 4) do if [ "$i" = 4 ] then echo -e "\033[31m Too many failures, exit the program \033[0m" >&2 exit 1 fi if service docker status | grep "Docker is runn.

2020-06-23 10:39:37 719

原创 python进行redis操作

一、python脚本redis_test.py#!/usr/bin/python3# -*- coding: UTF-8 -*-import timeimport redis# 使用单个连接py_redis = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)# 使用连接池# pool = redis.ConnectionPool(host='localhost', port=6379, db.

2020-06-18 14:18:11 259

原创 metricbeat收集redis日志以及系统日志

注：部分说明省略一、拉取镜像docker pull elastic/metricbeat:7.7.0二、编写metricbeat.yml配置文件metricbeat.modules: #-------------------------------- System Module -------------------------------- - module: system metricsets: - cpu # CPU usage

2020-06-15 19:08:29 911

原创 shell脚本创建redis集群

通过脚本创建redis集群1. 创建脚本文件redis-node-start.sh，内容如下#!/bin/bash# 方法要定义在调用的前面，否则会因找不到该方法报错createRedisClusterContainer() { echo "Start to create redis cluster" for port in $(seq 7000 7005); do docker run -d -it \ -p "${port}":"${port}" \ .

2020-06-11 10:14:52 894

原创 python模拟发送json数据到logstash

一、模拟日志数据生成脚本json_log.py#!/usr/bin/python# -*- coding: UTF-8 -*-import datetimeimport jsonimport randomimport timeimport requestsheaders = { 'Content-Type': 'application/json',}info_list = {'User error': 'ERROR', 'Password ERROR': 'ERROR.

2020-06-09 20:32:23 735

原创 logstash中metrics插件简单使用

注：此处只关注logstash部分，其他部分此处省略Logstash配置文件1. logstash.conf文件内容input { # 自动模拟生成数据2次 generator { count => 2 message => '[ {"env":"test", "timestamp":"2020-06-02 01:04:39.978", "logLevel":"ERROR", "source":"req

2020-06-08 11:58:31 1158

原创 python简单RestApi案例

#!/usr/bin/python# -*- coding: UTF-8 -*-from flask import Flask, abort, request, jsonifyapp = Flask(__name__)users = []'''curl --header "Content-Type:application/json" -X POST http://127.0.0.1:8088/user -d '{"id":2, "name":"lisi", "age":18}''''.

2020-06-03 17:00:34 451

原创 filebeat+logstash收集postgres慢查询日志

背景：在win10下docker启动postgres、python连接postgres，创建表和插入数据以及ELK+Filebeat的基础上进行一、Filebeat端处理1. 配置文件修改1.1 filebeat.yml配置文件新增数据源类型- type: log enabled: true paths: - /usr/share/filebeat/log/facilities/*/*.log tags: ["facility"] fields: en...

2020-05-29 17:35:30 1432

原创 python批量插入数据到postgres

一、python脚本#!/usr/bin/python# -*- coding: UTF-8 -*-import stringimport psycopg2import randomfrom psycopg2 import extrasaddress_list = {'北京', '上海', '深圳', '广州', '长沙', '成都', '吉林', '邵阳', '九江', '长春', '拉萨'}conn = psycopg2.connect(database="test", u.

2020-05-28 19:39:25 1424

原创 python连接postgres，创建表和插入数据

一、python脚本文件1. 创建create_data.py 文件，内容如下#!/usr/bin/python# -*- coding: UTF-8 -*-import stringimport psycopg2import randomaddress_list = {'北京', '上海', '深圳', '广州', '长沙', '成都', '吉林'}conn = psycopg2.connect(database="test", user="test", password="t

2020-05-28 18:52:54 5020

原创 win10下docker启动postgres

一、拉取镜像docker pull postgres:13二、简单版启动容器1. 执行命令启动容器docker run --name postgres -e POSTGRES_PASSWORD=1234 -p 5433:5432 -d postgres:132. 打开navicat查看结果从以上结果看出数据库连接成功3. 拷贝镜像默认配置到宿主机docker cp postgres:/var/lib/postgresql/data/postgresql.conf .

2020-05-28 17:17:34 2044

原创 logstash匹配filebeat传递的log.file.path

一、filebeat容器1. d:/usr2/local/etc/filebeat/目录下filebeat.yml文件配置filebeat.inputs:- type: log enabled: true paths: - /usr/share/filebeat/log/apps/*/*.logoutput.logstash: hosts: ["192.168.1.110:5044"]2. 启动filebeatdocker run -v /d/usr/sh

2020-05-27 16:08:28 2828

原创 logstash匹配路径字段

方法一：使用grok插件1. d:/usr2/local/etc/logstash/pipeline1目录下logstash.conf配置文件input { stdin { } }filter { grok { # 匹配路徑 /usr/share/filebeat/log/apps/butler/filebeat5.log中的butler match => {message => "^/%{DATA}/%{DATA}/%{DATA

2020-05-27 11:33:15 1142

原创 logstash通过grok插件匹配springBoot默认日志

背景：在Logstash数据源为日志文件操作基础上进行一、修改配置1. logstash.conf文件修改为如下input { stdin { } file { # 容器中日志所在目录的文件 path => ["/usr/share/logstash/logs/*.log"] # 多行匹配方法1 codec => multiline { pattern => "^(..

2020-05-25 09:38:59 1567

原创 win10下ruby入门学习

学习背景：在使用logstash过程中，需要使用filter下的ruby插件一、安装ruby1. 下载ruby，下载链接：https://rubyinstaller.org/downloads/2. 执行安装文件，安装ruby，安装目录修改为E盘，其他默认3. 查看结果ruby -v二、交互式 Ruby（IRb）1. 打开cmd命令窗口，依次执行如下命令irbdef helloout = "hello world"puts outendnilhel

2020-05-21 13:40:57 390

原创 filebeat采集udp/tcp数据

背景：在win10下docker操作filebeat做日志采集基础上进行一、配置文件1. D:\usr\local\etc\filebeat目录下docker-compose-filebeat.yml文件，新增暴露端口version: '3'services: filebeat: image: elastic/filebeat:7.6.2 container_name: filebeat volumes: - /d/usr/local/logs..

2020-05-19 19:33:37 4056

原创 python进行udp/tcp简单通信

一、UDP服务端#!/usr/bin/python# -*- coding: UTF-8 -*-import socket# 基于网络的数据报协议 UDPserver = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)# 绑定这个端口，接收这个端口的消息，参数是元组，括号不能少server.bind(('192.168.1.110', 5000))while True: # 1024 缓冲区。recvfrom可以得到发送方的消

2020-05-19 17:42:22 481

原创 Logstash接收udp/tcp数据

背景：在Logstash数据源为日志文件操作基础上进行一、配置文件1. D:\usr\local\etc\logstash\pipeline1目录下logstash.conf文件配置input { stdin { } udp { host => "0.0.0.0" # 从5000端口获取日志 port => 5000 type => "udp" } tcp { ..

2020-05-19 17:35:48 5372

原创 win10下docker启动elasticsearch-head

一、拉取镜像docker pull mobz/elasticsearch-head:5二、修改文件2.1 下载vendor.js文件https://github.com/mobz/elasticsearch-head/blob/master/_site/vendor.js2.2 修改vendor.js文件第6886行 contentType: "application/x-www-form-urlencoded改成contentType: "application/json;..

2020-05-15 14:42:39 404

原创 win10下docker操作filebeat做日志采集

一、拉取镜像docker pull elastic/filebeat:7.6.2 二、编写filebeat配置文件2.1 在目录D:\usr\local\etc\filebeat下分别创建docker-compose-filebeat.yml、filebeat.yml文件2.2docker-compose-filebeat.yml文件内容version: '3'services: filebeat: image: elastic/filebeat:7.6.2 .

2020-05-15 14:18:20 902

原创 Logstash数据源为日志文件操作

在Springboot整合ELK基础上进行一、模拟日志1. 在D:\usr\local\bin\start目录下编写python脚本save_log.py#!/usr/bin/python# -*- coding: UTF-8 -*-import datetimeimport threadingimport os# 递归级联创建的目录path = "D:/usr/local/logs"if not os.path.exists(path): os.makedirs(p

2020-05-14 19:55:43 694

原创 Springboot整合ELK

一、编写配置文件1. 在目录D:\usr\local\etc\elk下创建docker-compose-elk.yml文件version: '3'services: elasticsearch: image: elasticsearch:7.6.2 container_name: elasticsearch environment: # 设置集群名称为elasticsearch cluster: name=ela

2020-05-14 10:23:48 1612

原创 win10下docker启动redis单机及集群

一、单机版redis1. 拉取redis镜像docker pull redis2. 执行命令，启动redisdocker run -p 6379:6379 --name redis -d redis3. 查看结果到此单机配置成功二、配置Redis集群

2020-05-11 17:20:37 975

原创日志整理

一、nginx日志1. 日志类型：访问日志、错误日志2. 默认参数配置log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'3. 参数说明* $remote_addr：客户端（用户）IP地址* $remote_user

2020-05-09 14:29:47 269

原创 ps相关命令详解

1. 显示所有进程信息ps -A2. 全格式显示所有进程信息ps -ef3. 长格式显示进程信息ps -l4. 正则查找ssh进程信息ps -ef|grep ssh5. 显示所有进程信息(包含其他使用者)ps aux6. 进程header部分参数信息说明UID：程序被该UID所拥有PID：就是这个程序的IDPPID：则是其上级父程序的IDC：CPU使用的资源百分比STIME：系统启动时间TTY ：登入者的终端机位置TI.

2020-05-08 17:47:53 1389

原创 win10下shell入门学习（一）

注：windows出厂时没有内置shell解释器，需要自行安装，为了同时能用grep, awk, curl，此处选择安装Cygwin一、安装Cygwin1.下载安装程序：https://www.cygwin.com/2 .执行安装程序，下载镜像失败3. 添加镜像地址：http://mirrors.163.com/cygwin/http://mirrors.neusof...

2020-05-08 15:17:18 1620

原创 win10下使用docker容器启动Fluentd

1. 拉取fluentd镜像docker pull fluent2. 在目录D:\usr\share\fluentd下新建配置文件fluentd.conf，文件内容为<source> @type http port 9880 bind 0.0.0.0</source><match **> @type stdout</m...

2020-05-07 19:31:07 651

原创 curl入门命令

1. 获取网页源码curl http://localhost:92002. 获取跳转后的网页源码curl -L http://localhost:56013. 返回头部信息curl -i http://localhost:92004. 获取通信详细过程curl -v http://localhost:92005. 发送get请求，获取返...

2020-05-07 17:15:37 4117

原创 win10下使用docker容器启动ELK

一、安装Logstash1. 拉取logstash镜像docker pull logstash:7.6.22.3.

2020-05-07 11:39:13 1332 1

原创 win10家庭教育版安装docker

参考地址：https://itnext.io/install-docker-on-windows-10-home-d8e621997c1d安装问题：one prerequisite is not fulfilled.Docker Desktop requires Windows 10 Pro or Enterprise version 15063 to run一、安装Hyper-V 和 C...

2020-05-06 09:55:48 3064 1

td-agent-3.7.1-0-x64.zip

最新Install Fluentd by MSI package (Windows msi)

2020-04-29

lombok-plugin-0.29-EAP.zip

Lombok 2020最新版 0.29-2020.1-EAP

2020-04-10

python.zip

idea python 插件 version193.5662.61 idea python 插件 version193.5662.61 idea python 插件 version193.5662.61

2020-01-14

python-3.8.1.zip

windows-python3.8.1目前最新版本

2020-01-14

swt-gdip-win32-4763.dll下载

org.eclipse.swt.SWTException: Unable to load graphics library [GDI+ is required] (java.lang.NoClassDefFoundError: Could not initialize class org.eclipse.swt.internal.gdip.GdiplusStartupInput)替换文件

2018-12-14