fj56355113的专栏

原创 rocketmq 发送时异常：system busy 和 broker busy 解决方案

之前写的解决方案,都是基于测试环境测试的.到生产环境之后,正常使用没有问题,生产环境压测时,又出现了system busy异常(简直崩溃).最后在rocketmq群里大佬指导下,终于解决(希望是彻底解决).下面直接给出结果:目前通过生产环境各种参数修改测试得出:broker busy异常: 可通过增大 waitTimeMillsInSendQueue 解决system busy异常:可通过增大 osPageCacheBusyTimeOutMills 解决。

原创 kong 网关docker部署手册

1 docker操作基础# 查看正在运行的容器/查看所有容器dockerps/docker ps -a# 在宿主机和容器之间复制文件docker cp# 保存镜像为压缩文件 docker save# 加载压缩文件为镜像docker load# 把容器制作成镜像docker commit# 以root用户进行容器kongdocker exec -it -u root kong/bin/bash# 登录仓库docker login# pull...

原创 linux上检索运行的应用

# 检索服务器中在运行的tomcat应用echo "已经在运行的tomcat"; sleep 1s;catalina_list=`ps aux|grep -v grep|grep Dcatalina.base|sed -r "s/.*catalina.base=([a-z/-]*).*/\1/g"`;echo "$catalina_list"|sort;#echo "$catalina_list"|xargs -i bash -c 'echo "" ;echo -ne "{} has \t\t";

原创 APM+上报信息分析与应用

在入正题之前我们再回顾下它的架构图：本文章主要分析AMP各索引的作用，与及结合1.7环境上已接入的服务数据对比后，对索引中的主要字段进行解析。文章分为四个小章节。1、索引类型apm索引分为四种类型：系统指标索引(System status metrics)，索引名称格式：apm-version-metric-yyyy.dd.mm,主要储存进程资源指标，如：内存信息、cpu信息、gc信息等。具体异常索引(Error-specific data)，索引名称格式：apm-ver...

原创 Elasticsearch SSL认证/证书制作

制作目的在上一篇《elasticsearch7.X x-pack破解》中，我们启用了x-pack模块，elasticsearch集群中，如果使用了x-pack，那么集群中的各节点之间通讯就必须安全认证。为了解决节点间通讯的认证问，我们需要制作证书。内容简介本文的主要内容是指导SSL制作过程。步骤生成证书 一、cd到es安装目录下，如：cd /data/platform/elasticsearch/elasticsearch-7.0.0 然后执行:bin/elasticsearch-c

原创 APM Java agent 参数配置

APM Java agent 参数配置JAVA_OPTS="${JAVA_OPTS} -javaagent:/data/lease/elastic-apm-agent-1.7.0.jar"JAVA_OPTS="${JAVA_OPTS} -Delastic.apm.server_urls=http://192.168.1.7:8200"JAVA_OPTS="${JAVA_OPTS} -Delastic.apm.log_level=ERROR"JAVA_OPTS="${JAVA_OPTS} -Del

原创 apollo中Spring扩展XML Schema的机制

1、Schema自定义扩展步骤： 创建一个 XML Schema 文件，描述自定义的合法构建模块，也就是xsd文件 自定义个处理器类，并实现NamespaceHandler接口(比较容易) 自定义一个或多个解析器，实现BeanDefinitionParser接口(最关键的部分) 注册上面的组件到Spring IOC容器中 2、自定义 XML Schema 文件<?xml version="1.0" encoding="UTF-8" stan..

原创 apollo客户端长连接实现

/** 单线程池 */m_longPollingService = Executors.newSingleThreadExecutor( ApolloThreadFactory.create("RemoteConfigLongPollService", true));/** 使用google令牌桶算法实现限制请求量,默认每秒生产2个令牌(即每秒最多只有两个请求) */m_longPollRateLimiter = RateLimiter.create(m_configUtil.getLong.

原创 大数据框架

适用场景(解决问题)：现状:1、现有的离线数据统计分析，容错性差、非HA，不支持分布式计算，统计性能太差。有些直接把在线业务库当数据源，一个晚上必须计算完，否则到白天直接影响系统业务性能。2、随着平台业务的发展，数据量越来越大，直接对mysql进行查询、统计慢慢变得不可能。如果对现状数据库做分表分库，属于系统重构，工作量大，直接影响系统业务发展。即使做了分表分库，像Mycat，这样的中间件，也是需要业务系统大改，对于千万、亿级这样的海量，也是变得有心无力。解决：大数据框架引入能解决的..

原创 使用nginx自带ngx模块-kong发起http请求实现

1、通过修改/usr/local/share/lua/5.1/kong/templates/nginx_kong.lua，使nginx-kong.conf增加8000server的location配置2、重启kongsudo/usr/local/bin/kongrestart-c/etc/kong/kong.conf--vv3、nginx-kong.conf生效/usr/local/kong/nginx-kong.conf4、鉴权逻辑5、验证数据流curl >&gt...

原创 大数据~几个入选的技术框架对比

技术 特点 使用场景 对比 备注 Maxwell 轻量级数据同步中间件、支持刷全量、断点还原、随机读数据，固定JSON数据格式 mysql数据全量、增量同步 Canal：数据落地需要定制开发、不支持刷全量。虽然高版本有了adapter客户端，需要启动独立进程，对于maxwell来说还是重量级框架，配置复杂 Sqoop：直接数据仓库之间的同步，不好加入清洗、计算层，配置复杂，有些字段类型还不支持，对于多变数据类型支持不灵活 DataX：开源

原创 elasticsearch7.X x-pack破解使用权限和告警等功能

elasticsearch7.X x-pack破解使用权限和告警等功能 简介：x-pack是elasticsearch的一个收费的扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，x-pack被设计为一个无缝的工作，但是你可以轻松的启用或者关闭一些功能。如果购买商业版需要每年支付十多万。为了使用几个不可或缺功能而花大钱去购买，有点不值得，特别是对于中小型企业来说。所以我在这里主要通过如何破解来启用x-pack的一些功能。 反编译x-pack是收费项目，想启动.

原创 apollo工作机制

apollo工作机制逻辑架构图：Admin Service 在配置发布后会往 ReleaseMessage 表插入一条消息记录，消息内容就是配置发布的 AppId+Cluster+Namespace ，参见 DatabaseMessageSender 。 Config Service 有一个线程会每秒扫描一次 ReleaseMessage 表，看看是否有新的消息记录，参见 ReleaseMessageScanner 。 Config Service 如果发现有新的消...

原创 FastDFS单机部署

安装步骤详见网站： FastDFS+Nginx 单点部署----- Author孟凡柱 20170401目录服务器规划： 安装包： 一、所有tracker和storage节点都执行如下操作 1、安装所需的依赖包 2、安装libfatscommon 3、安装FastDFS 二、配置tracker服务器 1、复制tracker样例配置文件，并重命名 2、修改tracker配置文件 3、创建base_path指定的目录 4、防火墙中打开tracker服务器端口（ 默认为 22122） 5、启动tracker服务.

原创 APM安装部署说明

APM-server安装安装前准备：elasticsearch-7.0.0-linux-x86_64.tar.gz（依赖）kibana-7.0.0-linux-x86_64.tar.gz（依赖）apm-server-7.0.0-linux-x86_64.tar.gz （服务端包）elastic-apm-agent-1.7.0.jar（终端包）ps:data目录先删除，否则安装不成功安装步骤：先安装elasticsearch，解压安装包，单机集群部署:一个master和一个slave修

原创 apollo分布式部署

apollo分布式部署一、环境准备1.1 运行时环境1.1.1 OS服务端基于Spring Boot，启动脚本理论上支持所有Linux发行版，建议CentOS 7。1.1.2 JavaApollo服务端：1.8+ Apollo客户端：1.7+由于需要同时运行服务端和客户端，所以建议安装Java 1.8+。1.2 MySQL版本要求：5.6.5+Apollo的表结构对timestamp使用了多个default声明，所以需要5.6.5以上版本。1.3、环境需要事先确

原创 apm简单压测性能报告

1、压测环境1.7服务器、1.7charging-api服务、1.7apm服务2、压测方法压测工具：apache bench压测接口：http://192.168.1.7:8089/charging-api/rest-api/v1/common/queryBankList压测步骤：分为三种情况压测：接入apm之前；接入apm之后；中途把apm服务停掉(模拟apm服务不可用情况)，每种情况下，都以1000的并发量(由于是同一台机器上的并发，模拟太多并发反而上下文切换频繁导致达不到真正的并发)

原创 Jenkins搭建代码扫描配置说明

目 录1. 简介 1.1. 目的 1.2. 范围 2. 所需软件 3. Jenkins环境搭建 3.1. Jenkins安装 3.2. 插件安装 3.2.1. Jenkins插件安装 3.2.2. Nodejs 安装 3.2.3. Eslink 安装 4. Jenkins代码扫描配置 4.1. Java配置 4.1.1. Checkstyle a.集成配置 b.规则说明 4.1.2. FindBugs a.集成配置 b.规则说明 4.1.3. 汇总配置 4.1.4. 统计查看 4.2. 前端配置 4.2.1

原创 nginx lua语言实现插件-HTTP请求服务端校验的代码片段

local zhttp = require "resty.http"local _M = {}_M.__index = _Mfunction _M.http_post_client(url, body, timeout) local httpc = zhttp.new() timeout = timeout or 30000 httpc:set_timeout(timeout) local res, err_ = httpc:request_uri(url, { met...

原创 网关kong自定义的插件开发攻略

如果你是需要准备的

原创 PostgreSQL10.13 二进制安装

PostgreSQL10.13二进制安装软件版本：postgresql10.13二进制安装包下载地址：https://ftp.postgresql.org/pub/source/v10.13/postgresql-10.13.tar.gz操作系统信息：[uhome@beta-kong ~]$ cat /etc/redhat-releaseCentOS Linux release 7.7.1908 (Core)[uhome@beta-kong ~]$ free -m ...

原创 linux防火墙管理大全

查看防火状态： systemctl status firewalld查看防火状态： service iptablesstatus暂时关闭防火墙： systemctl stop firewalld暂时关闭防火墙： serviceiptablesstop永久关闭防火墙： systemctl disable firewalld永久关闭防火墙： chkconfig iptables off重启防火墙： systemctl enable firewalld重启防火墙： service iptabl...

原创 Centos7部署kong、konga、postgresql及adminApi

环境：centos7目标：kong【v2.1.0】，postgresql【v10.13】一、安装依赖包（1）安装gcc编译环境 $ yum install -y gcc gcc-c++（2）pcre安装（nginx 的 http 库使用 pcre 解析正则表达式） $ yum install -y pcre pcre-devel（3）zlib安装（zlib 库提供多种压缩和加压缩的方式） $ yum install -y zlib zlib-devel（4）openssl...

原创 VMware中linux网络设置-支持外部远程访问

1、CentOS安装完成后，需要先修改

原创 CentOS安装nginx-1.16.1

一、安装基础工具：yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel二、安装 Nginx 地址：http://nginx.org/en/download.html查找需要的版本，这里以1.16.1 为例：wget https://nginx.org/download/nginx-1.1...

原创 Centos7安装最新mysql-8.0.19的步骤

1、mysql官网找到社区版版本入口进入；https://dev.mysql.com/downloads/mysql

原创 后台程序在linux系统中执行shell文件-cp命令僵死

后台程序golang，程序实现ssh连接到服务器执行shell文件，shell脚本内容片断如下：cd /home/test/bin/;./stop.shif [ $? -ne 0 ]; then echo "[ERROR] 执行:停止服务失败，请检查：$LINE_DIR/bin/stop.sh" exit 1fi由于【/home/test/bin】目录根本不存在，于是...

原创 window系统添加虚拟网络设备

原创 上传文件-校验文件类型

文件类型工具类：import java.util.Map;import java.util.concurrent.ConcurrentHashMap;public class FileUtil { //记录各个文件头信息及对应的文件类型 public static Map<String, String> mFileTypes = new Concurre...

原创 XSS过滤处理

java工程需要添加过滤器，具体代码如下：import org.apache.commons.lang3.StringUtils;import org.apache.http.entity.ContentType;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import javax.servlet.ServletI...

原创 linux安装apache+svn步骤

1、创建svn用户[root@server-002 ~]# useradd svn[root@server-002 ~]# passwd svn2、查看是否已经安装svn[root@server-002 ~]# rpm -qa subversion3、如果没有，直接第4步，如果有，先卸载[root@server-002 ~]# rpm remove subversion -y4...

原创 linux远程传输文件及授权脚本分享

文件环境：服务器A（文件源服务器） IP地址:192.168.1.100 端口：22 账号密码：home/123$456生产环境：服务器B（生产环境同步机） IP地址:10.0.1.10 端口：41122 账号密码：home/123$456服务器C（生产环境目标机） IP地址:10.0.1.11 ...

原创 keep-alive缓存遇到的坑

keep-alive 属性： include- 字符串或正则表达式。只有匹配的组件会被缓存。 exclude- 字符串或正则表达式。任何匹配的组件都不会被缓存。 用法： <keep-alive>包裹动态组件时，会缓存不活动的组件实例，而不是销毁它们。和<transition>相似，<keep-alive>是一个抽象组件：它...

转载 Mysql之binlog日志说明及利用binlog日志恢复数据操作记录

众所周知，binlog日志对于mysql数据库来说是十分重要的。在数据丢失的紧急情况下，我们往往会想到用binlog日志功能进行数据恢复（定时全备份+binlog日志恢复增量数据部分），化险为夷！一、简单了解binlogMySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select），以事件形式记录，还包含语句所执行的消耗的时...

原创 axios文件上传过程中监听上传进度时，遇到的坑

代码如下：JS代码片段： axios.post('/task/file/upload', formData, { baseURL: host.APP_HOST_NAME, headers: { 'Content-Type': 'multipart/form-data' }, onUploadProgress: function(progressEvent) { // ...