工具相关
关注
分享
扫一扫
文章平均质量分 52
开发工具集
谭正强
一个不愿在枯燥的日子里自废武功，同时对技术有点追求的 Java、大数据程序员。永远对牛人心生敬仰，对自己不甘平庸。
人到中年，太多的无奈驱使我无法专心做技术，但是在这里我希望这颗心可以纯粹点，聊点对技术的热爱，反省下当下的人生。
展开
-
DolphinScheduler-3.1.9 资源中心实践
本文主要讲本地基础环境伪分布式简单搭建以及遇到的问题，并且以开启资源中心为例列举了 shell 脚本和 Python 脚本的示例，其中 shell 脚本没有问题，主要问题点在 Python，目前来看使用 python任务引入资源中心的 Python 无法成功，后续持续跟进研究，如果你有好的方案烦请和我交流。原创 2024-07-06 19:38:24 · 1754 阅读 · 0 评论 -
记录一次scala项目导入编译失败的问题
Tips： 这里要根据自己的情况设置，其中xss表示栈空间栈内存的大小，设置的栈的大小决定了函数调用的最大深度，默认的参数可能不够，需要加大点。下载：https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz。如果第二个不改变原始大小：-Xss2048k 就会一直报堆栈溢出，因此这里调整为2m既可，应付一般的递归深度应是足够了。以上报错，其实是scala编译的栈溢出了，可以参照我如下的设置。MacBook Apple m2芯片。原创 2023-06-14 22:29:50 · 1290 阅读 · 0 评论 -
Go同目录下多个main声明会导致编译失败的问题
goland 编译问题处理原创 2023-02-01 09:55:38 · 1122 阅读 · 1 评论 -
Git使用问题记录
前言<font color=#999AAA Git的操作可以使用命令行，当然为了偷懒熟练使用IDEA的git未尝不是一个好办法！一、当前修改的分支想要暂存怎么办？这个需要是因为当前修改的分支还没有修改完，突然有另外的需求需要去处理，如果当前的分支不暂存，则新的分支中就会包含当前分支的修改，这个时候使用IDEA的如下功能即可。等修改完之后，在切换到该分支，使用Git -> Unstash Changes …即可恢复。二、想要同步最新的分支怎么做？可以选择如下需要同步的源分支，甚至原创 2021-11-30 11:09:53 · 1825 阅读 · 0 评论 -
MySQL笔记
一、重置root密码root密码已经忘记的情况下二、使用步骤先关闭mysql：systemctl start mysqldsystemctl status mysqld1. 修改配置文件修改/etc/my.cnf 新增配置项：skip-grant-tables# For advice on how to change settings please see# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defa原创 2021-10-22 17:03:21 · 378 阅读 · 0 评论 -
Python2.7升级版本记录
文章目录前言一、环境二、升级步骤1.安装各类依赖库2.编译3.编译安装4. 添加软连接5.修改yum安装6.升级pip7. 验证参考前言python2.x版本已经废弃了，有些软件安装的是会遇到如下提示，“Sorry, Python < 3.6 is not supported”，因此本文记录下升级过程。 提示：以下是本篇文章正文内容，下面案例可供参考一、环境cat /etc/redhat-releaseCentOS Linux release 7.9.2009 (Core)p原创 2021-10-09 16:39:45 · 388 阅读 · 0 评论 -
远程debug docker中应用
前言最近在研究kylin相关的内容，采用官方提供的docker化一键部署的方式来进行，作为远程服务本地debug的原理是相通的，这里记录下来以便参考提示：以下是本篇文章正文内容，下面案例可供参考一、暴露容器的端口比如我这里采用暴露的调试端口为：9999 生产者不建议暴露原生端口。docker run -d --log-opt max-size=10m --log-opt max-file=1 \-m 8G \-p 7070:7070 \-p 8088:8088 \-p 16010:16.原创 2021-07-20 11:04:39 · 700 阅读 · 0 评论 -
IDEA一劳永逸设置默认maven
前言每次发现新建项目的时候maven设置便自动重置是不是很恼火，别急这里记录下一劳永逸的办法提示：以下是本篇文章正文内容，下面案例可供参考一、设置示例：IntelliJ IDEA 2021.1.3 (Ultimate Edition)老的版本中可以通过Other Settings入口中去设置默认配置，但是新的IDEA取消了，这时可以使用新建项目的入口如下：此时进入：Setttings for New Projects … 设置如下Maven选项这样再次新建项目的时候便可以应用自己的设置了原创 2021-07-06 19:32:59 · 743 阅读 · 0 评论 -
Http发送Json请求示例
使用Hutool工具Hutool是一个小而全的Java工具类库，通过静态方法封装，降低相关API的学习成本，提高工作效率引入如下依赖： <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.3.7</version&g原创 2021-03-05 17:46:59 · 3839 阅读 · 0 评论 -
IDEA-2020.1.1 显示内存信息
查看右下角：鼠标点击，有释放内存占用的效果，用过的人都说好^_^原创 2021-01-27 10:51:08 · 676 阅读 · 0 评论 -
kafka工具命令（常用）
提示：以下是本篇文章正文内容，下面案例可供参考一、kafka常用管理命令# 创建topic bin/kafka-topics.sh --create --zookeeper xxx:2181 --replication-factor 1 --partitions 1 --topic user_ippv# 客户端生产数据bin/kafka-console-producer.sh --broker-list xxx:9092 --topic user_ippv# 客户端消费数据 (从...原创 2021-01-25 20:56:52 · 508 阅读 · 0 评论 -
IDEA引入项目报错解决问题记录
问题描述：IDEA导入maven项目时候pom文件报如下错误'settings.xml' has syntax errorsTag name: project Description : The <project> element is the root of the descriptor.The following table lists all of the possible child elements. Version : 3.0.0+原因分析：1、可能是mav.原创 2021-01-04 21:08:08 · 23955 阅读 · 3 评论 -
Griffin0.6服务初测--使用Measure库提交自定义文件
前言前面提到我们可以使用Griffin UI 来创建测试用例，而且我们还可以依据自身情况来提交自定义json文件，目前griffiin保留的connector只有hive，如若扩展还需要使用jar包提交的方式，当前griffin提供的UI并不能满足需求，所以在这里做个记录方便后续集成到公司的大数据监控系统上面来。参考官网示例：http://griffin.apache.org/docs/quickstart.html以下定义了一个batch的profiling任务一、定义环境配置文件示例 .原创 2020-11-24 17:10:17 · 969 阅读 · 4 评论 -
Griffin0.6服务初测--校验准确率
1、以下select schema的位置需要修改源码，因为我们使用kerberos认证选择源：选择目标：选择表达式：确认：]创建job:没有指定队列：hadoop fs -ls hdfs://nameservice1/griffin/persist/job_test_01/1606115946809Found 3 items-rw-r--r-- 2 zm_app_prd s...原创 2020-11-24 11:17:33 · 530 阅读 · 1 评论 -
Griffin-0.6.0服务部署笔记
前言Apache Griffin是一个应用于分布式数据系统中的开源数据质量解决方案。在Hadoop, Spark, Storm等分布式系统中，提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。数据质量模块是大数据平台中必不可少的一个功能组件，Apache Griffin它支持批处理和流模式两种数据质量检测方式，可以从不同维度（比如离线任务执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等）度量数据资产，从而提升数据的准确度、可信度。一、环境设置Apache .原创 2020-11-20 12:46:48 · 1474 阅读 · 10 评论 -
工具-使用maven工具解决Jar冲突的问题
现象：日志冲突了，虽然不影响程序但是看起来难受。SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/Users/tandemac/.m2/repository/ch/qos/logback/logback-classic/1.2.3/logback-classic-1.2.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J:原创 2020-09-21 17:54:36 · 764 阅读 · 0 评论 -
字符串处理--去除首尾双引号
项目场景：使用shell脚本处理带有双引号的文本问题描述：数据示例"{""_index"":""uke_device_open_app_index"",""_type"":""open_app_device"",""_id"":""nygsGXIBbmK7t34354CI"",""_score"":1,""_source"":{""accessToken"":""0c08c9db-4a96-4c8b-9c60-5484acad2dc2"",""bu"":5,""cltVersion"":""2.4原创 2020-09-11 17:50:30 · 4687 阅读 · 0 评论 -
工具-shell客户端免密登陆配置
一、SecureCRT和Xshell一样很常见的客户端，不过需要破解才行，本人决定放弃使用，转item2，记录下配置流程。两步完成，前提是你的xx.perm文件要提前准备好。二、iTerm2 (Mac端)版本：Build 3.3.12 下载：https://www.iterm2.com/配置流程参考：https://blog.youkuaiyun.com/d007letian/article/details/78134411?utm_source=blogxgwz3主要步骤：...原创 2020-07-10 17:38:03 · 889 阅读 · 0 评论 -
空日期数据补0
1、背景接口服务中一般对报表或者看板按照年、月维度求和需要对空的日期所对应的数据进行补0，以下是一些处理思路可供借鉴。2、MySQL查询空日期补0用法SELECT t1.day, COALESCE (t2.cnt, 0) AS cntFROM ( SELECT@cdate := date_add(@cdate, INTERVAL - 1 DAY) AS day FROM ( SELECT @cdate := date_add(CURDATE(), INTERVAL原创 2020-07-10 13:59:43 · 753 阅读 · 0 评论 -
Oracle客户端连接服务器教程
具体步骤如下： 第一步：首先下载oracle客户端。直接在官网上下载一个basic文件以及sqlplus文件。至于版本，没有过多的要求。官网如下：http://www.oracle.com/technetwork/topics/winsoft-085727.html 下载的文件如下：instantclient-basic-win32-10.2.0.5和inst原创 2015-01-12 19:29:23 · 881 阅读 · 0 评论