魏菱延的博客

原创 springboot+Prometheus+grafana+PrometheusAlert一条龙监控

Prometheus安装cd /usr/local/srctar zvxf prometheus-2.14.0.linux-amd64.tar.gz -C /opt/ln -s /opt/prometheus-2.14.0.linux-amd64/ /opt/prometheususeradd -s /sbin/nologin -M prometheus mkdir /data/prometheus -pchown -R prometheus:prometheus /opt/promethe

原创 shell记录服务器状态，单个进程状态

服务器LOG_PREFIX="serverMonitor"IP=$(ifconfig -a|grep inet|grep 10|grep -v inet6|awk '{print $2}'|tr -d "addr")DATE_TIME=`date +%Y-%m-%d`_`date +%H-%M-%S`LOG_SUFFIX=".log"LOG_NAME=${LOG_PREFIX}${DATE_TIME}${LOG_SUFFIX}`echo IP:$IP >> $LOG_NAME`wh

原创 Jmeter大杂烩

Jemeter安装windows安装和jmx创建Jmeter压缩包的下载地址：https://jmeter.apache.org/download_jmeter.cgiJmeter这里不分windows环境还是linux环境，这个版本都可以。解压缩到任意文件夹都行，双击解压后文件bin目录下的jmeter.bat，就可以启动jmeter了。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vLCuA0t1-1637031416755)(C:\Users\EDZ\Ap

原创 HazelCast独立集群配置

HazelCast独立配置成集群配置文件hazelcast.xml，默认配置：Specifies the name and password for a cluster group you connect to.Cluster groups allow you to create separate sub-cluster with differentnames. The password is only checked when security is enabled onHazelcast

原创 TensorFlow2.0 + java/spark/scala 中调用

文章原链接：https://github.com/lyhue1991/eat_tensorflow2_in_30_days/blob/master/6-7%2C%E4%BD%BF%E7%94%A8spark-scala%E8%B0%83%E7%94%A8tensorflow%E6%A8%A1%E5%9E%8B.md使用spark-scala调用tensorflow2.0训练好的模型如果使用pyspark的话会比较简单，只需要在每个executor上用Python加载模型分别预测就可以了。但工程上

原创 pip卡住的常用源切换

阿里云http://mirrors.aliyun.com/pypi/simple/豆瓣http://pypi.douban.com/simple/清华大学https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学http://pypi.mirrors.ustc.edu.cn/simple/华中科技大学 http://pypi.hustunique.com/...

原创 centos7下 vowpal_wabbit 8.2.0安装实录 及简单测试

这里写自定义目录标题官网地址：https://github.com/VowpalWabbit/vowpal_wabbit/wiki/Command-line-arguments官网地址：https://github.com/VowpalWabbit/vowpal_wabbit/wiki/Command-line-arguments1、基础环境：安装make 、 cmake：yum -y install gcc automake autoconf libtool makeyum install cma

原创 模型评估方法

1、Accuracy作为指标有哪些局限性准确率是指分类正确的样本占总样本的比例，但存在明显的缺陷。比如负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主要因素，此时准确率指标并不足以说明分类器的好坏。2、ROC曲线和PR曲线各是什么？ROC:横轴是FPR（真正例率），纵轴是TPR（假负例率）召回率：原来样本中所有的正样本中，多少被预测为正样本。PR: 是由精确率和召回率的点连成的线，横轴为Recall

原创 使用arthas进行jvm调优

这里写自定义目录标题官方用户文档安装官方用户文档https://arthas.gitee.io/install-detail.html安装curl -O https://arthas.aliyun.com/arthas-boot.jarjava -jar arthas-boot.jar输入4，使得arthas atath到对应的一个java进程：输入dashbaord， 监控该进程的gc状态：通过jad来反编译Main Class：jad com.dangdang.algo.ser

原创 重启kafka集群

重启kafkanohup bin/kafka-server-start.sh config/server.properties &重启zookeepersh bin/zkServer.sh restart

原创 RocketMQ官网搬运-概念篇

基本概念1 消息模型（Message Model）RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器，每个 Broker 可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的 Broker。Message Queue 用于存储消息的物理地址，每个Topic中的消息地址存储于多个 Message Queue 中。

原创 LoadRnner压测指南

准备压测机准备好脚本和场景文件可能在跳转机上（D:\压测201804），也可能在本机上一般跳转机上会有一份数据假设有如下场景的名称：搜索：1000Vuser_MS_搜索系统Scenario1提示词：Suggest相关搜索：相关搜索登录跳转机win7开始菜单启动mstsc如果跳转机上没有数据，需要在本地资源选项设置共享本地资源（也就是你需要准备的数据路径），比如我把数据放到E盘某个路径，则需要这样设置（勾选本地设备和资源->详细信息）如果跳转机上没有文件，通过共享资源把本地的文

原创 azkanban简介与安装部署

azkanban架构：WebServer:10.5.25.53ExecutorServer:10.3.17.174executor拷入安装包：scp -r root@10.5.25.53:/root/azkaban-exec-server-3.80.0-11-g82923e2/ .webServer拷入安装包：scp -r algo@10.3.17.173:/home/algo/azkaban_package/azkaban-web-server .web端安装mysql：yum instal

原创 monitor-man 以docker模式安装部署

1、从git上下载monitor-man，并拷贝至服务器：scp algo@10.3.17.173:~/monitor-man ./2、cd到安装目录下，创建镜像：docker build -t=“monitor-man” .3、从docker安装redisdocker search redisdocker pull redisdocker run -d -p 6379:6379 redis4、从docker启动monitor-mandocker run --name "testMon

原创 redis4.0.6升5.0.3

tar xzf redis-5.0.3.tar.gzcd redis-5.0.3sudo make && sudo install不影响4.0的集群实例在建立新集群会是5.0的同一个集群4.0和5.0实例混用暂未发现问题

原创 Windows下速杀端口占用进程

如杀占用3002的进程：netstat -ano | findstr "3002"taskkill /F /PID 20804

原创 golang Windows 下编译生成linux可执行文件

set CGO_ENABLED=0set GOOS=linuxset GOARCH=amd64

原创 创建Redis集群 shell脚本 （之后再用ruby脚本初始化）

ip=10.3.17.173port=2020redisPath=/home/algo/redis-discovery-unify-featureconfDir=/home/algo/redis-4.0.6mkRedisClusterDir () { [ -d $redisPath ] && rm -rf $redisPath mkdir $redisPath echo -e "请选择创建redis节点数量:" while [ 1 = 1 ]

原创 nginx配置样例/重启

#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}http { include mime.types; defaul

原创 部署接入ELK实例

1、配置filebeatvim filebeat.yml配置文件样例(两个inputs源，用filelds.document_type区分)：filebeat.inputs:- type: log paths: - /home/algo/discovery_product_log/product.log fields.document_type: "product"- type: log paths: - /home/algo/doc4index/doc4index/

原创 ES 状态查询HTTP接口

1、查看es集群状态http://10.3.17.173:9200/_cat/health?v2、集群节点健康查看http://10.3.17.173:9200/_cat/nodes?v 3、列出集群索引http://10.3.17.173:9200/_cat/indices?v

原创 解决crontab分钟级定时任务造成系统资源耗尽

现象：大量/user/sbin/sendmail -FCronDeamon -i -odi -oem -oi -t -f …原因：crond 引起大量sendmail进程解决：禁止Crontab产生邮件在crontab末尾加上>/dev/null 2>&1.或&> /dev/null例如*/10 * * * * /home/algo/discovery_log/putDiscoveryRtLogRe

原创 使用Linux的MAT分析工具分析超大dump文件（几GB）

官网下载连接：https://www.eclipse.org/mat/downloads.php下载wget http://eclipse.stu.edu.tw/mat/1.9.0/rcp/MemoryAnalyzer-1.9.0.20190605-linux.gtk.x86_64.zip解压unzip MemoryAnalyzer-1.8.0.20180604-linux.gtk.x8...

原创 awk实例：统计日志最大值、最小值、平均值、百分比、平均TPS、最高TPS、超时请求数、每分钟流量情况、截取时间段日志

有日志如下：2020-04-02 19:28:50 - *1*product result all time*20190302153429792181010892684972978^170966576^vw_agg_nEgU78m^2020040219285070410_12079403*10.12.0.2042020-04-02 19:28:50 - *1*product result al...

原创 ES相关概念理解,常用查询

Query 与 Filter1、query是要相关性评分的，filter不要2、query结果无法缓存，filter可以（空间满，使用LRU淘汰）全文搜索、评分排序，使用query是非过滤、精确匹配，使用filterGET /nginx-elk-2020.03.22/_search{ "query": { "bool":{ "must": [ {...

原创 LoadRunner设置

避免Action(8):Error -27728:Step download timeout(120 seconds)has expired when downloading避免Failed to send data by channels设置迭代次数设置长连接

原创 React生命周期

生命周期方法这些方法是嵌入React 组件生命周期中的一组挂钩。它们可以在ES6类组件中使用，但是不能在无状态组件中使用。在挂载过程中有四个生命周期方法，它们的调用顺序是这样的：• constructor()• componentWillMount()• render()• componentDidMount()当组件的状态或者属性改变的时候用来更新组件的生命周期是什么样的呢？总的来...

原创 node js 非阻塞回调理解

主线程：1.执行node的代码，把代码放入队列2.事件循环程序（主线程）把队列里面的同步代码都先执行了，3.同步代码执行完成，执行异步代码4.异步代码分2种状况，1异步非io setTimeout() setInterval()判断是否可执行，如果可以执行就执行，不可以跳过。2异步io 文件操作会从线程池当中去取一条线程，帮助主线程去执行。主线程会一直轮询，队列中没有代码了，主线...

原创 centos7dockerCE（1.12）安装&&私服搭建极简

dockerCE安装（版本1.12）1、sudo yum install -y yum-utils device-mapper-persistent-data lvm22、sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo3、sudo yum install do...

原创 IDEA远程部署docker

原创 docker /docker 私服管理 常用命令

查所有容器id并停止docker stop $(docker ps -aq)查所有容器id并删除docker rm $(docker ps -aq)查看当前imagesdocker images删除imagesdocker rmi [image id]将终端依附到容器上docker attach [my_container]docker build 指定dockerfiled...

原创 根据进程名监控进程的CPU占用

#!/bin/bashinterval=1if [ "$1" != "" ]theninterval=$1fiecho "检查时间间隔(单位秒)："$intervaldatetime=`date +'%Y%m%d'`while :do#根据进程名获取进程idpid=`ps -ef | grep "server.DiscoveryServer" | grep -v grep |...

原创 进程CPU占用过高排查

1、top2、占用CPU较高的线程:ps -mp 进程id -o THREAD,tid,time|sort -rn|head -n 203、线程id转16进制：printf “%x\n” 线程id4、jstack 进程id|grep 线程id -A 305、使用jstat命令查看进程的内存...

原创 Logstash 6.5.4安装记录

1、下载并解压：wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gztar -zxvf logstash-6.5.4.tar.gzcd logstash-6.5.4/configcp logstash-sample.conf default.conf2、启动示例cd bin/./logst...

原创 CentOs7 YAPI极速部署

nodejs直接安装官方已编译版本1、sudo wget https://nodejs.org/download/release/v8.9.4/node-v8.9.4-linux-x64.tar.gz2、sudo tar --strip-components 1 -xzvf node-v* -C /usr/local3、sudo ln -s /usr/local/bin/npm /usr/...

原创 windows下交叉编译golang的linux可执行文件

1.打开cmd终端，cd到server.go（待打包主程序）所在目录下，执行：SET CGO_ENABLED=0SET GOOS=linuxSET GOARCH=amd64go build server.go这样在server.go同目录下会生产server二进制文件2.将server二进制文件上传到服务器3.修改main二进制文件权限chmod +x server4.运行...

原创 威尔逊区间及Golang的实现

对于投票排名，如何给出排名。一种常见的错误算法是：[得分 = 赞成票 - 反对票假定有两个项目，项目A是60张赞成票，40张反对票，项目B是550张赞成票，450张反对票。请问，谁应该排在前面？按照上面的公式，B会排在前面，因为它的得分（550 - 450 = 100）高于A（60 - 40 = 20）。但是实际上，B的好评率只有55%（550 / 1000），而A为60%（60 / 100），所...

原创 golang 并发与并行

一个线程是一个执行空间，这个空间会被操作系统调度来运行函数中所写的代码。每个进程至少包含一个线程，每个进程的初始线程被称作主线程。因为执行这个线程的空间是应用程序的本身的空间，所以当主线程终止时，应用程序也会终止。操作系统将线程调度到某个处理器上运行，这个处理器并不一定是进程所在的处理器。不同操作系统使用的线程调度算法一般都不一样，但是这种不同会被操作系统屏蔽，并不会展示给程序员。操作系统会在物...

原创 golang 自定义Set 及 使用

定义package MyDataTypeimport ( "fmt")var Exists = struct{}{}//set类型type Set struct { // struct为结构体类型的变量 m map[interface{}]struct{}}// 定义非空结构体type S struct { a uint16 b uint32}//返回一个...

原创 随机变量的数字特征

期望离散型变量：连续变量：期望完全由随机变量分布决定方差如果两个随机变量X、Y相互独立，则有：协方差及相关系数性质：ρxy(相关系数)等于0时，称X、Y不相关。...