zholeiv5

浏览器连不上 Flink WebUI 8081 端口

m0_49447718 — Fri, 01 Sep 2023 15:12:41 +0800

【代码】浏览器连不上 Flink WebUI 8081 端口。

Mac 卸载 PyCharm 方法

m0_49447718 — Wed, 30 Aug 2023 15:46:30 +0800

① 删除 PyCharm 程序本身，如果没有安装多个版本，如下命令即可。② 也可以在界面的应用程序里找到 PyCharm 文件右键并删除。删除 PyCharm 指定版本应用数据及插件数据等等。根据自身电脑而定，一般此目录下只存在一个一个文件。删除 PyCharm 指定版本运行时，产生的日志。删除 PyCharm 指定版本相关的偏好设置。删除 PyCharm 指定版本相关的缓存数据。应用程序的诊断日志都放在。类似的文件然后再递归查找。

Mac 卸载 IntelliJ IDEA 方法

m0_49447718 — Fri, 04 Aug 2023 15:20:45 +0800

直接复制上面的命令，粘贴在命令终端即可，最后一个命令需要回车一下。删除 IDEA 程序本身，如果没有安装多个版本，如下命令即可。删除 IDEA 指定版本应用数据及插件数据等等。删除 IDEA 指定版本运行时，产生的日志。删除 IDEA 指定版本相关的偏好设置。删除 IDEA 指定版本相关的缓存数据。删除当前用户下的其他相关文件。应用程序的诊断日志都放在。

DataX 异构数据贴源同步产品 - 技术分享篇（一）

m0_49447718 — Wed, 02 Aug 2023 16:54:39 +0800

DataX 是阿里开源的一个异构数据源离线同步工具。

HBase应用场景、原理与基本架构

m0_49447718 — Thu, 06 Apr 2023 19:03:29 +0800

表中每条记录的“主键”,方便快速查找,每一行的rowkey必须是唯一的,无需以递增的顺序插入.Column Family。:每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列;:每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳;:对于空(null)的列，并不占用存储空间，表可以设计的非常稀疏;:面向列(族)的存储和权限控制，列(族)独立检索;:Hbase中的数据都是字符串，没有类型。

开窗函数应用 AVG()/SUM()/COUNT OVER() 根据不同范围定义进行数据操作

m0_49447718 — Wed, 05 Apr 2023 16:44:43 +0800

【代码】开窗函数应用 AVG()/SUM()/COUNT OVER() 根据不同范围定义进行数据操作。

CentOS-8 大数据环境部署(Hadoop-3.3.1 + Hive-3.1.2 + Zookeeper-3.7.0 + HBase-2.4.15)

m0_49447718 — Tue, 14 Mar 2023 16:52:49 +0800

CentOS-8 大数据环境部署(Hadoop-3.3.1 + Hive-3.1.2 + HBase-2.4.15)

mysql-connector-java的jar包下载地址 5.X/8.X

m0_49447718 — Mon, 13 Mar 2023 19:07:07 +0800

5版本 8版本对应 jar 包下载

Spark SQL 从入门到精通 - Spark SQL 行转列、列转行案例

m0_49447718 — Wed, 29 Jun 2022 17:01:44 +0800

Spark PIOVT、UNPIOVT 方案案例

mysql5.7实现mysql8.0的 rank() 函数

m0_49447718 — Thu, 21 Apr 2022 16:00:05 +0800

最近用的都是mysql8.0的数据库，知道有窗口函数这个好用的函数，但是业务库部分还在用mysql5.7，实现排名有点恶心，因版本问题不支持这些函数，所以写了如下SQL 实现此功能。 SELECT D1,D2,D3,D4,ranks FROM( SELECT DISTINCT b.week_complain AS D1,b.WEEK_STR_CN AS D2, b.YEAR_STR AS D3,b.DATE_STR AS D4, -- 如果变量@ys的值等于YEAR_STR的值，且变量@wc的.

Impala 查询时列类型为String 但报错为Double （Column type: STRING, Parquet schema: optional double ZXS）

m0_49447718 — Fri, 03 Sep 2021 14:25:35 +0800

解决方案一: 在查询时添加此临时环境设置，检查schema 信息 set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name; 解决方案二：根据Parquet 字段顺序重建Hive 表。问题原因： Hive 回自动匹配 Parquet 的列与schema 是否与建表顺序相同，而 Impala 默认只会根据顺序进行匹配，不会进行字段名称匹配，导致数据类型不一致。 ...

Spark DSL各场景解决方案 - 汇总

m0_49447718 — Mon, 07 Jun 2021 14:31:56 +0800

1、DSL 字段数据类型转换。 val session = SparkSession.builder() .appName(this.getClass.getSimpleName).master("local[2]") .getOrCreate() val nameRDD: RDD[String] = session.sparkContext.makeRDD(Array( """ |{"name":"zhangsan","age":"18"} """.stripM

windows环境netcat安装及使用 -解决方案

m0_49447718 — Wed, 07 Apr 2021 17:39:06 +0800

一、下载地址 https://eternallybored.org/misc/netcat/ 二、安装步骤解压文件，并将文件中的 nc.exe复制到 C:\Windows\System32此目录下三、执行步骤 # 开启两个黑窗口 # 第一个执行 nc -l -p 99999 # 第二个执行 nc localhost 99999 四、异常处理异常提示：Can't grab 0.0.0.0:99999 with bind 解决方案：端口冲突，更换端口即可正常运行 ...

Spark从入门到精通 -Transformations与 Actions 算子

m0_49447718 — Tue, 06 Apr 2021 15:27:08 +0800

Transformations map(func) 、filter(func) 、flatMap(func)、mapPartitions(func)、mapPartitionsWithIndex(func)、sample(withReplacement, fraction, seed)、union(otherDataset)、intersection(otherDataset)、distinct([numPartitions]))、groupByKey([numPartitions])、reduceByKe

Linux Shell 解决方案 sed awk

m0_49447718 — Thu, 01 Apr 2021 16:38:52 +0800

#打印99乘法表 seq 9 | sed ‘H;g’ | awk -v RS=’’ ‘{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}’

Hive 从入门到精通 - DQL 、DML、DDL、DCL 与各种操作类型对应解决方案 (四)

m0_49447718 — Mon, 29 Mar 2021 11:27:59 +0800

SQL(Structure Query Language)语言是数据库的核心语言。 SQL语言共分为四大类：数据查询语言DQL(Data Query Language)，数据操纵语言DML(Data Manipulation Language)，数据定义语言DDL(Data Definition Language)，数据控制语言DCL(Data Control Language)。 1、DQL 数据查询语言数据查询语言DQL基本结构是由SELECT(select)子句，FROM(from)子句，W

Hive中建表在Impala 中显示表不存在 -解决方案

m0_49447718 — Mon, 22 Mar 2021 09:32:34 +0800

执行invalidate metadata命令，更新impala 元数据信息，已解决。解决方案一：可以看下 Impala 启动参数是否有问题；解决方案二：查看Impala 配置是否配制了元数据检测同步。

Spark SQL 从入门到精通 - Spark SQL内置函数 (一)

m0_49447718 — Mon, 22 Mar 2021 09:07:50 +0800

Spark SQL 内置函数详解 Spark SQL 官方内置函数地址

Scala 从入门到精通 - 字符串插值解决方案

m0_49447718 — Thu, 18 Mar 2021 08:42:42 +0800

字符串插值：直接在过程字符串文字中嵌入变量引用的机制。只在Scala-2.10及更高版本支持。提供了三种字符串插值方式：s，f和raw。 1、s 字符串插值器简单的说就是解析字符串变量。 val name = "Splicing" println(s"His name is $name") println(s"His name is ${name}my") println(s"66 + 88 = ${66+88}") 2、f字符串插值器文字'f'插值器允许创建一个格式

Hive 从入门到精通 - 保留关键字与非保留关键字（三）

m0_49447718 — Tue, 16 Mar 2021 19:53:42 +0800

non-reserved keywords add, admin, after, analyze, archive, asc, before, bucket, buckets, cascade, change, cluster, clustered, clusterstatus, collection, columns, comment, compact, compactions, compute, concatenate, continue, data, databases, datetime, day,