- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kafka监控工具：kafka eagle安装踩坑
1、背景：本人kafka使用小白，使用kafka produce生产数据的时候，从后台看kafka topic有没有数据很不方便，从网上找了找，发现有个开源工具kafka eagle比较好使。2、软件准备：官方网站链接：EFAK刚开始下载了一个官方最新版的，v2.0.9版本，但是安装一直失败，报jvm崩溃，刚开始也不知道什么原因，选择了一个比较低的版本v1.4.8版本3、安装流程：（1）从官网获取安装包，一直解压，/opt/software/kafka_eagle/kafka-eag
2021-12-29 10:29:05
2292
原创 java可变参数初始化
问题：使用spark Rowfactory.create(Object ... values)时，发现这是可变参数，刚开始只能使用比较笨的方法，在括号后面一个个追加，但是这个列的个数很多，高达上百，写出来的代码巨丑无比。也不知道可变参数能不能单独声明？解决方法：看样例原来一个数组就可以搞定可变参数的声明问题。基本功不扎实的确影响开发啊...
2021-11-22 11:45:22
1085
原创 Java jmx学习---Hive metric
1、问题最近接到一个新需求，要求监控hive服务。监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。只是突然发现hive的监控还没有，目前只能调用hive 监控webui来监控，访问hive的jmx接口来做。但是我们自身还是想对hive的jmx进行一个包装，嵌入到自己的系统中。这里对新增了需求，要求对hive metric进行一番了解。2、hive m
2021-08-26 16:45:43
827
原创 gitlab 配置ssh
第一步：下载安装git，在官网下载安装即可，没有账号的自己注册账号；第二步：在左面空白处点击鼠标右键，点击Git BashHere，出现对话框；第三步：配置本地仓库的账号邮箱git；$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com"第四步：使用ssh密钥登陆。用下面指令生成ssh$ ssh-keygen -t rsa -C "yourema.
2021-08-20 09:45:22
24950
原创 Nacos使用：SpringCloud使用nacos定义的常量问题
问题：在configuration组件中使用nacos中定义的参数，若干个。在实例未初始化完成之前，最后一个参数cdh.temp.rest.api对应的值使用前面定义的几个参数cdh.ip、cdh.port，则会出现如下异常：EL1021E: A problem occurred whilst attempting to access...问题分析：可能spring cloud在初始化bean，成员变量为初始化完成之前，成员变量之间，不允许互相访问。该分析目前只是自己猜测，未从源码.
2021-08-18 11:13:15
1078
原创 Nacos问题： SpringCloud服务关闭nacos代码报空指针
问题描述： ConfigurableApplicationContext applicationContext = SpringApplication.run(ClusterMonitorApplication.class, args); try { Thread.sleep(5000); } catch (InterruptedException e) { e.printStackTrace();
2021-08-06 14:23:22
9652
1
原创 一个简单算法：冒泡排序
公司内部代码考试，看到这样一个题，我自己先实现一把。当然公司要求比这个高，这里缺少了参数校验等。直接上图：package algorithm;/** * @author zhangruizhi * @date 2021/7/22 */public class Bubble { /** * （1）外循环为length-1次 * （2）内循环判断条件<i 即可 * @param array */ public static.
2021-07-22 16:02:51
92
原创 使用git http方式下载代码时，更新用户名
问题：使用git clone http://仓库地址：端口/项目.git下载时，第一次使用需要登录用户名和密码。只是我现在需要切换用户名，一直不得其法，还是使用的老用户名再clone代码解决：cmd，使用管理员打开，执行以下命令：git config --system --unset credential.helper然后再次git clone命令的时候，就可以使用新的用户名和密码登录ps: 如果不使用管理员权限打开cmd，可能出现权限不足的情况。...
2021-07-14 11:04:47
396
原创 spark sql完成jdbc数据源导入hive表，java API实现
1、基础环境spark on yarn环境已经搭建，通过start-thriftserver.sh --master yarn启动 sparksubmit进程即可dm数据库；2、使用jdbc来访问spark，java API实现2.1 创建datasource、connection、statement代码，这里属于通用代码，使用Druid连接池来创建jdbc连接 /** * 读取druid.properties,并生成datasource */ privat
2021-07-09 14:23:50
856
原创 spark sql 创建表时候出现hostName:9000 failed on connection exception:
背景：spark on yarn模式下通过beeline连接spark thriftserver访问spark。问题：如下图，使用beeline的时候，可以正常切换数据库、显示有多少张表。但是在使用默认数据库（default）的时候出现，如下图所示的问题failed on connection exception:问题定位：（1）从异常出发，排除了防火墙的原因；（2）进入问题节点：使用netstat -nltp | grep 9000，发现该节点就没有进程监听9000端口。另外当前的ha
2021-07-01 18:49:29
589
原创 VirtualBox 虚拟机+Centos安装
目的：因为安装airflow的需要，没有现成的linux系统可用，考虑通过virtualBox+centos7来搭建一个虚拟机下载CentOS7 下载VirtualBoxVirtualBox下载链接 https://www.virtualbox.org/wiki/DownloadsCentOS下载链接：https://www.centos.org/download/安装过程安装过程这里不说明，自己可以找到大量的实操链接虚拟机联网这个是本文需要重点说明的问题。本次连接也是按照网上说明的桥
2021-04-19 10:17:53
163
转载 hadoop 生态圈详解
https://blog.youkuaiyun.com/HadoopInChina/article/details/80239878学习和使用hadoop有2年了，这里主要分享一下对hadoop整体上的理解，分门别类的介绍一下相关组件，最后提供了建议的学习路线，希望对hadoop的初学者有参考作用。前面的是拷贝过来的，后面有自己的工作内容分享给大家。 1. Hadoop核心件组有哪些? 广义hado...
2018-05-10 11:26:40
849
转载 欢迎使用优快云-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-08-14 23:38:46
271
转载 c++ primer 9.28 标准答案
http://blog.youkuaiyun.com/chenxun_2010/article/details/37731883百度后找到了 9.28的答案。。为防止此链接丢失，，还是粘上去吧[cpp] view plaincopy#include #include #include #include #inclu
2015-04-23 17:22:02
646
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人