- 博客(103)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 logstash与redis交互
把标准输入的数据存储到redis中编辑配置redis-out.conf配置文件，# vim /etc/logstash/conf.d/redis-out.conf添加如下内容input { stdin {}}output { redis { host => "192.168.1.202" port => "6379" password => 'test' ...
2020-08-24 21:11:57
501
原创 ES删除日志
因为ES保存日志是永久保存，所以需要定期删除一下日志，下面命令为删除指定时间前的日志curl -X DELETE http://xx.xx.com:9200/logstash-*-`date +%Y-%m-%d -d "-$n days"`通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。命令示例如下：curl -XDELETE 'http://192.168.1.135:9200/*-2020.07.11*'curl -XDELETE...
2020-08-24 21:08:33
3786
原创 logstash收集日志到es
配置文件地址：/home/elk/work/logstash-6.2.3/configvim nginx.confinput {file { # 指定一个文件作为输入源path => "/usr/local/nginx/logs/access.log" # 指定文件的路径start_position => "beginning" # 指定何时开始收集type => "nginx-access" # 定义日志类型，可自定义}file { # 指定一个文件.
2020-08-24 21:07:01
1036
原创 正则表达式
logstash支持的正则表达式 https://github.com/kkos/oniguruma/blob/master/doc/RE在线调试 http://grokdebug.herokuapp.com/如果服务器装有logstash，可查看grok-patterns文件中定义的正则表达式正则表达式普通正则表达式.任意一个字符*前面一个字符出现0次或者多次[abc]中括号内任意一个字符[^abc]非中括号内的字符[0-9]表示一个数字[a-...
2020-08-24 21:05:48
164
原创 logstash收集日志到Oracle
可以通过开源logstash output插件logstash-output-jdbc数据导入oracle数据库logstash-output-jdbc插件安装（logstash-plugin list 查看已安装插件）1.外网安装命令：bin/logstash-plugin install logstash-output-jdbc2.离线安装：直接从logstash-output-jdbc github 下载安装包将logstash-output-jdbc.zip放到不能联网的主机安装即可
2020-08-24 21:05:17
969
原创 logstash修改字段类型
logstash 中可以设置字段的类型为integer,string,float,booleanfilter {grok {match => {"message" => "(?<client_ip>%{USERNAME}) - - \[(?<time>[0-9a-zA-Z/: +]+)\] \"%{NOTSPACE:method} %{NOTSPACE:url} %{NOTSPACE}[\"] %{INT:status} %{INT} [\"]%{USE.
2020-08-24 21:04:41
1675
原创 logstash收集mysql慢查询
查看mysql慢查询日志位置：show variables like 'slow_query%'; show variables like'long_query_time%';mysql慢查询日志的记录格式：# Time: 2020-08-19T11:24:19.810484Z# User@Host: root[root] @ localhost [] Id: 2# Query_time: 2.000562 Lock_time: 0.000000 Rows_sent: 1 Row..
2020-08-24 21:03:52
364
原创 安装x-pack（密码登录）
注意：当x-pack安装好之后，Logstash 输出到es的配置文件 与 kibana的配置文件中都要配置x-pack的账户密码，因为两个应用都需要与es连接。syslog.confoutput {stdout { codec => rubydebug }elasticsearch {hosts => ["192.168.1.135:9200"]user => elasticpassword => elasticindex => "ng..
2020-08-24 21:02:05
744
原创 elk安装
安装JDK首先请在elk-server机器上JDK8；请在ELK官网https://www.elastic.co/downloads下载以下文件：1. elasticsearch-6.2.3.tar.gz；2. logstash-6.2.3.tar.gz；3. kibana-6.2.3-linux-x86_64.tar.gz；上述三个文件，推荐在CentOS7的命令行输入以下四个命令下载：wget https://artifacts.elastic.co/dow...
2020-08-24 21:00:42
369
原创 uwsgi+nginx+django
centos7python3uwsgi 2nginx 1.10Django 2.1.3先使用Django测试看是否可以正常运行进入Django目录python manage.py migratepython manage.py runserver 127.0.0.1:8080修改settings.py文件ALLOWED_HOSTS = ['*']添...
2019-08-22 14:35:58
138
原创 发送报警信息到微信公众号
#!/bin/sh# 微信消息发送脚本#全局配置--#微信公众号appIDappID=xxxxxxxxxxxxxx#微信公众号appsecretappsecret=xxxxxxxxxxxxxxxxx#微信公众号发送消息模板tpl_id=xxxxxxxxxxxxxxxxxxxxxxxxx#消息模板：# {{first.DATA}}# 项目名称：{{name....
2019-08-20 10:23:54
1211
原创 MySQL一个完整的请求过程
1，连接连接器，接收请求；连接进程和用户模块，通过连接线程和客户端对接2，查询查询缓存 Query Cache分析器，内建解析树，对其语法检查，先from，再on，再join，再where......；检查权限，生成新的解析树，语义检查等优化器，将前面解析树转换成执行计划，并进行评估最优执行器，获取锁，打开表，通过meta数据，获取数据3，返回结果返回给连接进程和用...
2019-08-16 16:38:36
485
原创 Python pip报ssl问题
pipinstall 包名-i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
2019-08-09 16:50:28
338
原创 Python 实现公众号自动回复信息
环境：云服务器python：3.5个人微信测试号（去微信官网申请）django版本：2.1安装werobot ：pip install werobot 创建一个test.py文件：import werobotrobot = werobot.WeRoBot(token='123456')@robot.handlerdef hello (messages): ...
2019-08-09 11:47:37
1783
原创 Linux MongoDB集群：副本集模式
1.下载地址，官网速度比较慢https://www.mongodb.com/download-center?jmp=nav#community下载完成后解压缩压缩包：tar zxf mongodb-linux-*.tgz2. 安装准备将mongodb移动到/usr/local/mongdb文件夹mv mongodb-linux-* /usr/lo...
2019-08-05 10:33:50
347
原创 Linux安装MongoDB单机模式
1.下载地址，官网速度比较慢https://www.mongodb.com/download-center?jmp=nav#community下载完成后解压缩压缩包：tar zxf mongodb-linux-*.tgz2. 安装准备将mongodb移动到/usr/local/mongdb文件夹mv mongodb-linux-* /usr/local/mong...
2019-08-01 16:47:54
534
原创 k8s添加删除节点
适用kubeadm搭建的集群kubectl get nodes #查看节点添加节点：master初始化成功后注意将kubeadm join xxx保存下来，等下node节点需要使用。如果忘记了，可以在master上通过kubeadm token list得到。默认token 24小时就会过期，后续的机器要加入集群需要使用以下命令重新生成tokenkubeadm token...
2019-07-30 16:08:29
7879
原创 部署kubernetes-dashboard
K8S Dashboard是官方的一个基于WEB的用户界面，专门用来管理K8S集群，并可展示集群的状态新建kubernetes-dashboard.yaml文件# Copyright 2017 The Kubernetes Authors.## Licensed under the Apache License, Version 2.0 (the "License");...
2019-07-30 16:02:29
182
原创 脚本调用微信订阅号发送信息
1.首先注册一个公众号，公众号分为个人类型的订阅号及组织公司类型的服务号，所对应的权限不一样，详情可以查询下。这里注册的是订阅号，是没有调用发送信息的接口权限的，但是公众平台提供权限比较高的测试账号，以供使用。2.登录公众号，点击左边菜单栏最下方的开发者工具。点击 “公共平台测试账号” 可以获得一个公众号：下面有测试号的二维码，关注之后会显示到用户列表中，如下图所示：...
2019-07-24 12:34:01
1143
原创 通过kubeadm部署k8s
1.安装环境master 192.168.1.105node1 192.168.1.106node2 192.168.1.107操作系统版本CentOS Linux release 7.1.1503内核版本3.10.0-229.el7.x86_64软件版本kubeadm:v1.9.0kubeadm为kubernetes官方推荐的自动化部署工具，它...
2019-07-03 16:18:52
1219
翻译 Linux Oracle11.2安装
安装前须知：内存(RAM)的最小要求是 1GB，建议 2GB 及以上。虚拟内存 swap 建议：内存为 1GB~2GB 时建议swap大小为内存大小的 1.5 倍；内存为 2GB~16GB 时建议swap大小为内存的大小；内存超过 16GB 时swap保持16GB。要求临时文件目录，如 /tmp 的磁盘空间至少 1GB。磁盘空间要求：企业版为4.35GB的安装空间和1.7GB以上的数据文件...
2019-06-11 16:51:46
1893
原创 django 模型字段设置默认值
class SitService(models.Model): applicationname = models.CharField(max_length=50,primary_key=True) ip = models.CharField(max_length=50) port = models.IntegerField(default=22) #设置默认值为22 ...
2019-05-22 09:33:41
8562
原创 Oracle启动
查看监听：netstat -an |grep LISTEN启动监听：切换Oracle用户lsnrctl startsqlplus / as sysdba--启动数据库SQL> startupSQL> startup nomount;ORACLE instance started.强制启动：SQL>...
2019-05-14 14:57:32
239
1
原创 数据库导入导出
查看文件位置：select * from dba_directories;创建：CREATEORREPLACEDIRECTORYmy_diras'/usr/DataPump';CREATEORREPLACEDIRECTORYmy_logdiras'/usr/logs';导出单个实例expdp admin/admin@IP:152...
2019-04-12 23:21:53
110
原创 创建用户并赋权
1.用有dba权限的用户登录：sys用户sqlplus / as sysdba;2.创建一个新用户：create user hr identified by username;3.给用户授权GRANT CREATE SESSION, CREATE ANY TABLE, CREATE ANY VIEW ,CREATE ANY INDEX, CREATE ANY PROCE...
2019-04-12 23:19:32
954
原创 设置连接超时时间
查询resource limit是否开启：SELECT name, value FROM gv$parameter WHERE name = 'resource_limit';resource_limit FALSE，则开启这个参数：ALTER SYSTEM SET RESOURCE_LIMIT=TRUE; 创建空闲10分钟中止空闲例程的Profile：CREAT...
2019-04-12 23:16:48
1905
原创 weblogic搭建项目
环境：centos7，weblogic12c，jdk1.81.将项目上传至装有weblogic的服务器中其中AdminServer是管理使用的，workbench就是我刚上传的项目。2.创建监听登录weblogic控制台，点击服务器前面的“+”号，再点击“服务器”，会出现已创建的监听服务器。新建：点击 “锁定并编辑”，再点击“新建”。填写相应的信息，...
2019-04-10 19:49:31
491
原创 weblogic 生产模式和开发模式的互相转换
开发模式--》生产模式将domain路径下/home/weblogic/Oracle/Middleware/user_projects/domains/c6001domain/bin/setDomainEnv.sh（可根据自己创建的域来查找该文件，也可以使用find命令查找）set PRODUCTION_MODE= 更改为 set PRODUCTION_MODE=true重...
2019-04-10 16:06:42
287
原创 Jenkins参数化构建
在执行构建任务时可以选择或填入参数，如：1.进入任务设置页面：选择参数化构建：其中选择参数可以提供好几个选项，字符参数可以为某个变量赋值。2.在构建中使用变量，在选择不同参数的时候执行不同的操作。...
2019-03-26 11:32:39
860
原创 Jenkins设置构建失败发送邮件
1.设置系统管理员地址进入系统设置，填写邮件地址：2.发件人邮箱配置填写完之后点击高级：填写完之后发送测试邮件。3.在构建任务中设置点击添加构建后操作：填写收件人邮件地址，可写多个：...
2019-03-26 11:32:07
1626
原创 Jenkins 上下游设置
Jenkins上下游jobs设置（并行、串行）使用jenkins中，当有多个jobs需要互相关联时，就需要设置jobs的上下游关联关系。比如job_A运行后触发job_B。1.Build after other projects are built设置（1）这里设置的为上游的jobs名称，比如在job_B填写的设置中填写了job_A，则会等待job_A运行完后，自动触发job...
2019-03-26 11:31:28
3044
2
原创 jenkins 构建前执行脚本
在Jenkins中进行构建时，可能需要首先SSH登录到一个远程服务器以执行必要的脚本，然后再执行构建。这时，需要安装SSH Plugin，并进行如下配置。1.在Jenkins界面，系统管理->管理插件->安装SSH Plugin说明，SSH Plugin的目的就是支持SSH到远程服务器，然后执行Shell命令。2.在Jenkins界面，系统管理->C...
2019-03-26 11:29:10
4748
原创 jenkins+svn+tomcta自动部署应用
linux环境：centos6svn，Jenkins，Tomcat大致流程，svn用作代码管理，Jenkins安装svn用来下载代码，使用Jenkins中的ssh远程插件远程登录web服务器，将代码拷贝到web服务器上，重启web进程。svn：192.168.1.133 Tomcat也在这机器上/usr/local/tomcat安装步骤：1.yum安装yum inst...
2019-03-26 11:28:06
217
原创 4.jenkins跟gitlab实现持续集成
GitLab是一个代码仓库，用来管理代码。Jenkins是一个自动化服务器，可以运行各种自动化构建、测试或部署任务。所以这两者结合起来，就可以实现开发者提交代码到GitLab，Jenkins以一定频率自动运行测试、构建和部署的任务，帮组开发团队更高效的集成和发布代码。配置GitLab插件访问令牌：没有可以创建打开GitLab，点击“setting”——“Account”，复制“Privat...
2019-03-26 11:26:35
243
原创 制作weblogic镜像
1.下载centos7镜像#docker pull centos# docker imagescentos latest 49f7960eb7e4 9 months ago 200MB2.创建容器#docker run --name=myCentos -itd centos /bin/bash3.进入容器（1）查看容器iddocker ps（2）根据...
2019-03-22 17:46:30
828
原创 weblogic安装
centos 6.7weblogic12cr2jdk1.81 安装jdk下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.htmltar.gz包:解压缩 # mkdir /usr/java # cd /usr/java # tar -zxvf /software...
2019-03-22 17:03:17
780
原创 3.Jenkins插件安装
1。点击系统管理中的插件管理2。在可选插件中搜索以下插件：gitlab 、gitlabauthenticatiom、 github pull request coverage status、gitlab hookDeploy to container #将代码部署到Tomcat容器插件#GIT plugin/GIT client plugin/GITHUB plurin#支...
2018-12-11 15:02:37
504
原创 2.Jenkins安装后的全局配置
1。进入全局工具配置页面2。配置jdk3。配置git（1）在服务器上安装gityum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker下载git安装包，安装设置环境变量：echo "export PATH=安装路径/...
2018-12-11 15:01:41
603
原创 1.Jenkins安装
1。jdk安装与配置. (1)jdk安装下载地址 ： http://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html tar.gz包:解压缩 # mkdir /usr/java # cd /usr/java # tar -zxvf /...
2018-12-11 14:58:57
124
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人