fct2001140269的博客

将指定的groupid相关kafka的topic中的offset更新到latest的最新位置如果使用java api的方式，将offset更新到特定位置(此处为最新的数据位置)，详见下面的代码；package mykafka.gainoffset;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kafka.common.TopicPartition;import java.util.ArrayLi

更新kafka的offset到最新的位置1.进入docker容器，用来执行kafka相关的更新offset的命令；docker ps | grep kafka | awk '{print $1}'2.执行如下命令，用来将执行kafka集群中的groupId的offset更新为最新；/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.19.32.116:9192 --group fang-groupid-105 --res

docker部署ftp服务器1.背景​ FTP是一种传输协议，FTP服务器可以有客户端通过FTP协议访问，上传或下载文档。有什么用，其实就是很多人公用存储资料。2.拉取构建ftp服务器查看官网提供的ftp说明https://hub.docker.com/r/fauria/vsftpd使用最新的fauria/vsftpd镜像即可。官网提供的搭建建议：（生产环境中可用，已经绑定账户，挂载目录，启动了 FTP 的主动和被动模式）docker run -d -v /my/data/dire

一、问题场景需要将外网中的confluence和jira全部迁移到内网中，即在内网中安装jira和confluence，激活，并迁移外网数据到内网中；二、问题描述：在将confluence中，将jira的账户同步到confluence中的时候，出现同步失败的问题。三 解决方法：第一步：（1）在jira中要使用管理员用户设置允许连接的用户目录，（以往随机创建的非管理员用户是不行的）；（2） 同时设置对应的允许连接的ip。可以设置多个，这个允许ip也很关键！同时在confluence中用户

安装redis-dump命令1.安装redis-dump执行的shell脚本如下：#!/bin/bash#首先到tmp下，用来存放下载的安装文件cd /tmpmkdir rvmcd rvm# 开始安装RVMgpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0...

大数据监控体系构建基于开源xxx_exporter+promethues+grafana的构建监控系统1.概况其中，exporter一般是使用来采集各种组件运行时的指标数据；promethues构建指标时序数据库；grafana构建指标显示面板；目前已有各种docker容器方便的构建各种监控体系；2.详细构建过程其中我的promethues的配置如下：#全局配置信息：glob...

Spark-steaming监控设计与验证方案​ created by fangchangtan | 2020/2/24原创不易，谢绝白嫖，好的话就点个赞吧!1总览1.1参考文献：对spark steaming运行中的批处理过程的监控https://blog.youkuaiyun.com/qq475781638/art...

docker 安装、配置、验证ElasticAlert​ created by fangchangtan | 2020/2/241.elastalert的场景用途​ elastalert组件作为elk中日志关键词的告警组件。基本的流程是，通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ，获得对程序的健康状态和稳定性的监控告警。2.安装elast...

redis导入导出工具-redis-dump,centos7安装使用在centos7上安装redis的备份工具redi-dump注意事项：因为多数系统自带的ruby版本是2.0.0的版本，但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。直接安装的话，就会提升版本过低。需要跟高的2.2.2版本以上的支持。具体的命令如下：安装 redi...

关于使用sonarqube中的注意事项（1）如果项目中的名称不是你想要的名称​ 图1 两个tms项目，将tms改为CSS-TMS注意修改代码中的工程项目名称即可（2）如果想要设置同一个项目在sonarqube中分别显示两栏如图1所示,只要在打包的时候，idea中terminal中键入如下即可：F:\bigdata\gitlab-workspace\CM-TMS&g...

SonarQube + Maven分析代码质量1.1. sonarqube简介SonarQube是个开源的代码质量管理平台，可以通过多种工具和维度对代码质量进行分析，部分功能还支持可视化，对于代码缺陷一目了然。SonarQube比较开放，支持通过插件扩展功能。支持众多计算机语言，比如 java, C#, go，C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。...

在VMware中设置CentOS7的网络https://www.linuxidc.com/Linux/2017-07/145845.htm

转载：https://www.toutiao.com/i6764747345151132172/搜索资源网站工具类思维导图工具文档笔记平台搜索资源网站学习技术过程我们经常需要使用搜索引擎来检索资料，国内常用的也就是某度了。当然有条件的话，搜索引擎首先还是推荐使用 Google，如果没办法使用，可以使用以下几个作为备用：BingBing 国际版：https://cn.bing.com/比某度好用...

java批量创建删除Kafka的topic一、前言参考资料：Kafka 0.11客户端集群管理工具AdminClienthttps://blog.youkuaiyun.com/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient （新版本kafka）较为新的版本：Kafka 0.11以上版本上测试的,新的...

redis-stat监控一、参考文献：聊聊redis的监控工具https://www.jianshu.com/p/831bf6c8af4f二、搭建redis-stat1.监控单个redis实例docker run --name redis-stat -p 8080:63790 -d insready/redis-stat --server 192.168.99.100:63791 5 ...

在idea中出现如下错误Error:(27, 35) java: -source 1.5 中不支持 multi-catch 语句 (请使用 -source 7 或更高版本以启用 multi-catch 语句)Error:(26, 38) java: -source 1.5 中不支持 lambda 表达式 (请使用 -source 8 或更高版本以启用 lambda 表达式)在ide...

使用idea打包成jar上传运行时候出现以下错误：Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes解决方法：(在linux命令行键入如下命令,xxx.jar是你的jar包)//将jar包中的META-INF/*...

hbase上执行的建表shell脚本，并指定压缩方式为SNAPPY压缩#!/bin/bash #source /etc/profile$HBASE_HOME/bin/hbase shell <<EOFcreate 'table1',{ NAME => 'data', COMPRESSION => 'SNAPPY' }create 'table2',{ NAME ...

Docker安装最新nexus3.18初始账号密码登录失败问题参考文章：https://www.cnblogs.com/wbl001/p/11154828.html安装常规的docker搭建nexus过程启动容器之后是这样，其实还没有登录进入（之前刚开始我以为我已经不需要登录了，已经进入nexus操作界面了），使用账号admin和密码admin123登录，发现登录失败。后期参考文章http...

Nexus创建Maven私服说明参考文献;https://blog.youkuaiyun.com/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器，是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构建。有了私服之后，当 Maven 需要下载构件时，...

jira-confluence安装与关联一、目的根本目的：该总做隶属于“高效团队计划”工作一部分，jira作为任务分派与任务节点控制系统软件，confluence作为文档、图片等资源共享的wiki计划的一部分（部门知识库），openfire作为jira插件，完成即时消息通知功能；一、安装与连接：1.安装jira参考：https://www.jianshu.com/p/b95ceabd3e...

今天发现一个好东西！一键搭建kafka+zookeeper+kafka监控；kafka-lenses实现一键搭建kafka+zookeeper+kafka监控一、问题背景常规的搭建方法，需要分别搭建kafka服务、zookeeper服务，然后是监控kafka的服务，例如kafka-eagle.kafka-Monitor等监控组件。使用docker搭建kafka-lenses之后，完全都拥...

掌握Docker高频操作以Docker为代表的轻量级容器技术的角度来审视完全虚拟化技术，虚拟机系统既浪费资源又难以管理，更重要的是还不安全。让Docker为我们工作没有Docker镜像，Docker什么也干不了，幸运的是，Docker默认有Docker Hub这个镜像仓库可用。简而言之，让Docker工作并不复杂，只需搜索并选择合适的Docker镜像，然后pull下来并基于该镜像创建和运行...

Intellij IDEA中使用log4j日志一、在pom.xml中添加依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</art