
开发随笔
随笔记录一些工作中遇到的开发知识
橘子洲头无桔子
拿不起的辞典
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive查询结果封装和查询日志回调
本文章主要是解决之前在写数据中平台的时候遇到的俩个问题,一是封装查询后的结果集为前端展示数据,二是携带查询日志。当然结果集和日志可根据需求决定是否返回和返回方式,比如websocket。xia...原创 2021-06-07 11:20:02 · 888 阅读 · 0 评论 -
发送告警消息到企业微信群
需求:实现告警信息推送到企业微信群介绍:企业微信支持自建应用推送消息和机器人推送消息,根据不同需求都可实现。方案一:机器人推送在群里建一个机器人,复制该机器人的webhook例如:https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=123555asdfgh23456方案二:应用推送可通过postman测验一、管理员创建应用->从而拿到应用的secret对应corpsecret,并且拿到企业ID对应corpid二、后台获取到该应用2原创 2021-05-20 16:34:40 · 1798 阅读 · 3 评论 -
clickhouse安装后JDBC连接测试
import java.sql.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;/** * @description:clickhouse连接测试 * @author: ZhiWen * @create: 2021-01-05 **/public class ClickhouseUse { public static void .原创 2021-01-05 17:20:58 · 814 阅读 · 0 评论 -
Kafka命令行读文件生产到topic
注意:要加上最后的 ‘| > out.txt’,否则控制台会输出一堆 ‘>’ cat data.txt | kafka-console-producer --broker-list 172.24.103.8:9092 --topic test_taos | > out.txt提供俩个可能用到的命令1.查看文件行数wc -l data.txt2.查看topic的offset kafka-run-class kafka.tools.GetOffsetShell --broke原创 2020-11-06 14:06:11 · 1665 阅读 · 0 评论 -
shell 消费Kafka消息到文件
准备mkdir outputvi consumer_kafka.shnohup kafka-console-consumer --bootstrap-server 172.24.103.8:9092,172.24.103.9:9092,172.24.103.10:9092 --topic monitor_dev >> output/consumer_kafka_out.txt &echo $! > consumer_kafka.pid说明:后台运行,并会把进程id保原创 2020-10-23 10:50:07 · 2410 阅读 · 0 评论 -
平台开发之策略模式
用鸭子来举例测试类package com.troila.design_patterns.strategy_pattern;/** * @description: * @author: ZhiWen * @create: 2020-10-21 **/public class TestDuck { public static void main(String[] args) { RedheadDuck redheadDuck = new RedheadDuck();原创 2020-10-21 17:10:14 · 182 阅读 · 0 评论 -
命令行生产消息到Kerberos认证的kafka
#zookeeper 192.168.0.187:2181,192.168.0.162:2181,192.168.0.71:2181/kafka#kafka 192.168.0.140:21007,192.168.0.71:21007kafka-topics.sh --create --zookeeper 192.168.0.187:2181,192.168.0.162:2181,192.168.0.71:2181/kafka --replication-factor 1 --partitions原创 2020-08-18 09:36:05 · 1260 阅读 · 1 评论 -
java远端执行shell命令之系统上任务的框架 -- sshxcute
需求描述:在实际工作中,总会有些时候需要我们通过java代码通过远程连接去linux服务器上面执行一些shell命令,包括一些集群的状态管理,执行任务,集群的可视化界面操作等等,所以我们可以通过java代码来执行linux服务器的shell命令为了解决上述问题,google公司给提出了对应的解决方案,开源出来了一个jar包叫做sshxcute,通过这个jar包我们可以通过java代码,非常便捷的操作我们的linux服务器了使用介绍项目中idea手动添加依赖,非pom开发演示import net.原创 2020-08-09 19:31:27 · 782 阅读 · 0 评论 -
shell+python模拟数据产生到文件
shell+python模拟数据产生到文件,后续给flume监控使用准备工作1.新建一个test目录 mkdir test2.进入到test目录,新建一个data目录 mkdir data3.在test目录下新建俩个文件用来保存进程id touch temp.pid touch pres.pid4.所有的脚本写在test目录下,数据在data目录下start-script.sh启动脚本 启动俩个py脚本,并把进程id保存到指定文件nohup python temp.py &ec原创 2020-05-28 14:48:07 · 267 阅读 · 0 评论 -
正则匹配SQL字符串中的引用符${}
import java.util.HashMap;import java.util.regex.Matcher;import java.util.regex.Pattern;/** * @description * @author: ZhiWen * @create: 2020-04-16 11:18 **/public class Regex { private static Pattern p1 = Pattern.compile("^/[0-9a-zA-Z\\u4e00-\\原创 2020-05-20 14:42:41 · 463 阅读 · 1 评论 -
平台目录树结构开发
介绍:给平台开发一个全局的系统目录树结构,可根据不同的目录属性自定义目录主类 目录的增删改查@Service@Slf4jpublic class CatalogServiceImpl extends ServiceImpl<CatalogMapper, Catalog> implements CatalogService { @Resource private CatalogMapper catalogMapper; private final int LE原创 2020-05-19 16:39:09 · 311 阅读 · 0 评论 -
数据质量SQL
–聚合函数select MAX(a.c) maxs,MIN(a.c) mins,SUM(a.c) sums,AVG(a.c) avgs,VAR_POP(a.c) pops from (select name as c from woker) a;–字段重复数select max(a.c) repeats from (select COUNT(1) as c from woker GROUP BY slary) a;–字段空值数select COUNT(1) nulls from bigdata.w原创 2020-05-18 18:55:32 · 1415 阅读 · 0 评论 -
Linux连接MYSQL
连接MYSQL:格式: mysql -h主机地址 -u用户名 -p用户密码1、例1:连接到本机上的MYSQL找到mysql的安装目录,一般可以直接键入命令mysql -uroot -p,回车后提示你输密码,如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可进入到MYSQL中了,MYSQL的提示符是:mysql>2、连接到远程主机上的MYSQL假设远程主机的IP为:10.0.0.1,用户名为root,密码为123。则键入以下命令:mysql -h10.0.0.1 -uro原创 2020-05-10 18:00:49 · 352 阅读 · 0 评论 -
大数据中常见的默认端口
Hadoop:50070:HDFS WEB UI端口8020 : 高可用的HDFS RPC端口9000 : 非高可用的HDFS RPC端口8088 : Yarn 的WEB UI 接口8485 : JournalNode 的RPC端口8019 : ZKFC端口19888 :jobhistory WEB UI端口Zookeeper:2181 : 客户端连接zookeeper的端口2888 : zookeeper集群内通讯使用,Leader监听此端口3888 : zookeeper端口 用于原创 2020-05-10 17:46:09 · 281 阅读 · 0 评论 -
服务器硬件查看
cat /proc/cpuinfo 查看cpufree -m 查看内存fdisk -l查看硬盘分区df -h 查看挂载目录ifconfig查看网卡信息ethtool eth0查看详西的网卡工作模式lspic列出所有芯片信息lsblk命令可以列出所有可用块设备的信息,比如我们说的逻辑磁盘,默认情况下将以树状列出所有块设备[root@server01 opt]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0原创 2020-05-10 17:44:13 · 186 阅读 · 0 评论