qq_43341418的博客

原创 futures time out

注意：这倆，下面的一定要比上面小，不然会报错。

原创 处理 error: ‘)‘ excepted but string literal found

在处理特殊格式的数据时像json这样的具有特殊格式的内容时，加s会导致转义字符失效。所以如果有引用的内容，最好还是提出来单独写吧。

原创 处理 omitted for duplicate 灰色

我本以为是idea爆炸了，重装后发现冤枉idea了，后来我想远程没有本地有，那么就不让他访问远程了，于是删除了所有lastUpdate和-remote.properties后，重新配置了sdk,它就好了，我知道这不是长久之计，但突然出现的飘红以及编译不了jar包实在搞人心态，希望有大神看到可以指点一二。下班后开始搞，搞到半夜，发现原因。因莫名的原因导致程序在加载本地Maven仓库时优先从远程加载jar,但问题是远程找不到也没有扫描本地的jar包，就这么华丽丽的飘红了，留下了一堆lastUpdate。

原创 pg库 cannot delete from table because it does not have a replica identity and publishes deletes

ALTER TABLE table_name REPLICA IDENTITY DEFAULT没用。

原创 es解锁只读模式

put http://xxx.xxx.xxx.xxx:9200/_settings{“index.blocks.read_only_allow_delete”:false}

原创 spark字符串解码成binary数组再转string

val a = “string”val b = DatatypeConverter.parseBase64Binary(a)val str = new String(b,“UTF-8”)

原创 linux查找历史操作语句

快速查找使用该文本的shell语句。

原创 spark中dataframe起别名对join过程的影响

今天之前我认为这里不应该用别名，因为join进程已经结束，两个dataFrame的组合键已经对应完成，新df的schema只有一个seq1。今天实验的时候发现别名会对结果产生影响，就像schema里有两个seq1，对不同的seq1筛选范围不一样。

原创 hive修改压缩格式使可以使用删除语句

【代码】hive修改压缩格式使可以使用删除语句。

原创 scala字符串转日期转数字转字符串不同格式

原创 hive查看表数据大小

会显示字段名，totalSize就是数据库里表数据大小，单位为B，在计算时，要除以1024。

原创 spark解决scala.matchError问题

matchError

原创 postgresql拆分文本

pgsql文本拆分避免多次查询

原创 GaussDB增删改查操作(备忘)

加字段alter table tablename add (column1 types1,column2 types2)改字段alter table tablename alter column columnname type types。改数据update tableName set column1=value1 where column2=value2。删数据delete from …和别的一样，基本用不到。插数据insert into…和别的一样，基本用不到。查数据select * from…

原创 scala代码连接华为云dws（gaussDB 200）数据库,适用于本地jar包引入maven库（gsjdbc200.jar）

dws gauss200 本地jar引入maven

原创 java.lang.NoSuchMethodError:scala.Predef$.refArrayOps

scala新旧版本冲突导致找不到方法

原创 我遇到的telnet无法打开主机连接到问题

telnet无法打开主机连接到

原创 python 字符串转dataframe

字符串转dataframe

原创 python list循环去重（比对上一行）

pthon list for循环，if...else...循环

原创 python字符串截取多个指定内容，正则匹配

python 截取字符串 正则匹配 findAll

原创 紧急创建dataframe（spark版，非穷途陌路不可使用）

当插入少量文本数据进hive，使用load local data inpath …却因各种原因导致无法满足要求时，可以按照我下面的方法手动创建df并赋予字段名，以df插入hive表的方式填充import org.apache.spark.sql.{DataFrame,SparkSession}import ss.implicits._val a :DataFrame = ss.sparkContext.paralllelized(List("ABC,DEF","GHI,JKL",...)).ma...

原创 dolphinscheduler-2.0.3安装与测试（伪集群模式）

这次是在自己的虚拟机安装的dolphinscheduler2.0.3，为接下来集群模式打下基础。记录在单机集群模式下安装到测试成功的步骤与注意事项,后续有问题会继续修改。官网文档链接：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/installation/pseudo-cluster.html1.本机jdk与zookeeper版本：jdk:java version "1.8.0_201"zookeerpe

原创 zookeeper-3.6.3安装

zookeeper 安装1、xftp上传zookeeper压缩包并解压cd /opt/softlstar -zxvf apache-zookeeper-3.6.3-bin.tar.gzmv apache-zookeeper-3.6.3-bin soft/zookeeper3632、进入解压好的安装包 在conf文件夹下配置环境cd zookeeper363/cd conflscp zoo_sample.cfg zoo.cfgvi zoo.cfg 修改存储数据路径、添加zookee

原创 dolphinscheduler-2.0.3安装与测试（单机模式）

当前是简易版安装的dolphinschedule试用，所以一切只在standalone模式下使用，不适用于集群模式，或可以当作进行集群模式使用前的参考与奠基。第一步：选用一个虚拟机，装上jdk我用的jdk版本安装包是jdk-8u201-linux-x64.tar.gz按照网上来就行。其次，我本机安装的mysql版本是5.6.1。没有达到安装ds203需求的最低5.7+标准，我自己下载了8.0.16版本mysql-connect-java驱动器。目前尚无影响，后续有影响会进行重装和修改。安装d

原创 解决win10安装virtualBox没有host-only设置问题

在创建虚拟机时需要网络适配虚拟环境，就需要在我们的网络服务里添加能够访问虚拟机的虚拟网络如图所示（以太网2）：，这里在安装虚拟机可以在设备管理器中手动添加，打开设备管理器我们的虚拟机无法访问就是缺少了VirtualBox Host-Only Ethernet Adapter，这个设备在我我们安装好虚拟机后就存在于我们的电脑之中。路径是D:\software\VB\drivers\network\netadp6，里面有个inf文件，添加到设备中就行了。添加方法是：1.先点击网络适配器，再点击操作

原创 win10环境安装jdk1.8，解决javac无法运行问题

win10电脑安装jdk

原创 统计踩坑日记（六）

leftsemi join 与 join的区别：left join 表示 " outer join " 中的左连接leftsemi join 和 left join 很像，在真实使用中也和left join 有很多相似之处leftsemi join ：左半开连接会返回左边表的记录，前提是其记录对于右边表满足 on 语句中的判定条件。大多数sql语言会使用 in...exits 结构来处理这种情况。leftsemi join 是一种存在于hive中的SQL语法，在MySQL中无法使用，所以想要尝

原创 统计踩坑日记（五）

统计踩坑日记（五）技术的熟练度来自于日复一日的坚持技术的提升来自于高熟练度以及偶然的灵光加油！遇到事情不能坐以待毙filter的n种写法：filter(expr("colname = '15'"))filter("COLNAME = 1")filter("A >= 1 AND B >=2 AND C>=3")filter(expr("(colname1 = '01' or colname1 = '02' or colname1 = '05') and colname2

原创 统计踩坑日记（四）

scala 中val, var, def做写的博客最易懂的博主val 表示不可变变量val s = 1s = 2 //错误 s不可以被重复赋值var表示可变变量var s = 1s = 2 //正确def表示定义了一个方法def s = 1def df(a:Int,b:Int)从功能上看，def 的功能更加自由val和var都是创建对象，每次使用都会创建一个实例对象，后续所有对这个实例的操作都是基于这一个实例，除非新建对象取代实例对象的功能。def拥有val的功能，但每一

原创 统计踩坑日记（三）

统计踩坑日记（三）细心决定一切程序员的下班时间是由他对当前手里项目有没有想法决定的，上周对三张表进行统计工作，就被细节问题折磨的欲仙欲死1.写代码的时候可以随心所欲点，但涉及到指标的生成、统计时就需要严阵以待。每个指标都建议大写，因为不是每个数据库都不区分大小写，比如kudu，他就不支持小写字母来对应指标名，所以一开始就养成指标名大写的习惯总是不会错的。如果不是在这上面耽误了几百分钟，我也不会在意。2.每条代码都事先写好所有的指标名的集合，可以省下繁复的drop(“column_name”)工作，

原创 统计踩坑日记（二）

toDF：// 构造测试数据，有两个字段、名字和年龄val userData = Array(("A", 16), ("B", 21), ("B", 14), ("B", 18))//创建测试dfval userDF = spark.createDataFrame(userData)+-----+---+| ._1| ._2|+-----+---+| A | 16|| B | 21|| C | 14|| D | 18|+-----+---+.toDF("name

原创 scala踩坑日记

统计踩坑日记：1.同一个包，同一个类下面的方法可以直接调用，实例：def stat (statDate : String):DataSet[Row] ={ val df = newstat(statDate) df}def newstat(stat:String):DataSet[Row] ={ df}2.scala可以向python一样优美，不需要各种调用，各种嵌套实例：val df1 = session.sql(s"......")df1.createTempView("df

原创 elasticsearch指定文档id由输入字段两个或多个以上组成

项目场景：在使用elasticsearch时，常常会遇到需要指定文档id的场景，当文档id是由输入字段两个或多个以上组成的时候，这时候就犯了难。那么怎么处理呢？问题描述：文档id： 假设文档id由userid 和 queryTime组成，输入json字段属性为userid，username，queryTime，event 组成。这时候如何在不改变json字符串的基础上完成文档id由userid 和 queryTime组成的转变？原因分析：json字符串无法改变，elasticsearch7的特性是

原创 hadoop启动报错：ssh_exchange_identification: read: Connection reset by peer

今天启动hadoop首次遇到了ssh_exchange_identification: read: Connection reset by peer这个问题，在网上查找攻略后大多是下面这样的解法[root@km4 .ssh]# vi /etc/hosts.allow 追加sshd: ALL[root@km4 .ssh]# seervice sshd restart但我的问题不是这样，我...

原创 Apache Hive学习

Apache Hive学习hive安装hive版本：hive-1.1.0-cdh5.14.2，环境：jdk1.8 、VirtualBox、hadoop2.6.0解压文件：关闭hadoop[root@km1 opt]#tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz移动文件到soft文件夹下[root@km1 opt]#mv hive-1.1.0-cdh5.14...

原创 Linux环境下安装Hadoop

Hadoop安装环境：VirtualBox，Linux，jdk1.8，hadoop-2.6.0-cdh5.14.2.tar.gzhadoop安装：首先，检查机器是不是安装了jdk1.8[root@km1 /]#java -version其次：多台虚拟机免密登录先查看用户名，看看用哪台机器作为主机[root@km1 /]#hostname[root@km1 /]#cd ~普通登录...

原创 二叉树遍历与平衡二叉树

一、什么是二叉树？在计算机科学中，二叉树是每个结点最多有两个子树的树结构。通常子树被称作“左子树”（left subtree）和“右子树”（right subtree）。二叉树常被用于实现二叉查找树和二叉堆。一棵深度为k，且有2^k-1个结点的二叉树，称为满二叉树。这种树的特点是每一层上的结点数都是最大结点数。而在一棵二叉树中，除最后一层外，若其余层都是满的，并且或者最后一层是满的，或者是在右...

原创 kibana简单教学

kibana简单教学按键释义：discover：探索，数据探查Visualize：画图用的Dashboard：仪表盘，同时建立两张图以上时必须先建立，就像背景板timelion：计时的Dev Tools：工具，用来写命令的Management：连上数据库，找表找工具的kibana写命令：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1Yvqklxc...

原创 elasticsearch 增删改查（postman）

elasticsearch 增删改查（postman）1.建表：创建索引和type，也就是建库建表小飞人：PUT http://192.168.56.101:9200/mydemo(库) 关键词PUT{ "setting":{ "index":{ "number_of_shards":2, "number_of_replicas":1 } }, "mappi...

原创 centOs一小时虚拟机安装（到mysql）

一小时虚拟机安装（到mysql）：第一步：新建虚拟电脑名称：mydemo文件夹：D:\bigdata类型：Linux版本：Red Hat（64-bit）内存大小：16G点选：现在创建虚拟硬盘点选:VDI（VirtualBox 磁盘映像）点选：动态分配文件大小：随便给个20G回到主页面对新建虚拟机进行设置：常规： 高级：共享粘贴板：双向 拖放：双向系统：...