csding11-优快云博客

然后https://github.com/hortonworks/hive-testbench，在ddl-tpcds/text/alltables.sql中有建表语句（用hive建表）。先下载https://github.com/gregrahn/tpcds-kit（有Linux和macOS），根据其文档生成数据。导入数据到对应表里。

2023-10-18 10:03:02 660

原创 java.lang.NoSuchMethodError: org.apache.hadoop.hdfs.client.HdfsDataInputStream.getReadStatistics()L

hudi版本0.14（spark版本3.3.3hadoop版本3.1.3存储：HDFS。

2023-09-19 14:18:27 2511 8

原创 homebrew更换国内源

第四步：替换homebrew-bottle默认源。第二步：替换homebrew-core.git。第三步：替换homebrew-cask默认源。第一步，替换brew.git。

2023-08-23 10:41:56 920

原创 mac上编译tpcds

注：tpcds是针对linux写的代码，进入tool目录执行make即可编译，在mac下编译的时候会碰到问题，GitHub上大佬做了修改，mac可直接用！

2023-08-22 19:21:12 183

原创 Hive hiveserver2 监听端口10000异常启动失败

参考链接

2023-08-19 15:03:06 1350

原创 Docsify侧边栏多级子目录生成

自动生成 docsify 的 sidebar 和每个子目录中的 sidebar。

2023-08-13 16:57:05 1970 1

原创 trino on alluxio报java.lang.NoClassDefFoundError: Could not initialize class alluxio.metrics.MetricsS

先看自己{Trino_HOME}/plugin/hive/下是否存在alluxio的client jar包，如存在就不必按照官网要求将alluxio的client jar包拷贝到{Trino_HOME}/plugin/hive/中。但是在{Trino_HOME}/plugin/hive/已经有了alluxio-shaded-client-2.9.3.jar包，两者冲突。需将alluxio-2.9.3-client.jar放在{Trino_HOME}/plugin/hive/ 下（

2023-08-02 09:25:27 191

原创 Hive启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

2、hadoop-3.1.3（路径：hadoop\share\hadoop\common\lib）中该jar包为 guava-27.0-jre.jar；1、com.google.common.base.Preconditions.checkArgument这个类所在的jar包为：guava.jar。3、将jar包变成一致的版本：删除hive中低版本jar包，将hadoop中高版本的复制到hive的lib中。系统找不到这个类所在的jar包或者jar包的版本不一样系统不知道使用哪个。重新启动问题得到解决！

2023-08-02 09:04:10 1152

原创 hive on alluxio 报No FileSystem for scheme “alluxio“错误

按进行配置出现如上错误。

2023-08-01 17:16:19 1026

原创 python安装源码包

python安装源码包

2022-11-07 18:00:07 1959

原创一文读懂Spring Bean 的生命周期

spring bean对象生命周期

2022-10-05 21:38:59 172

原创 Presto基本介绍

presto基本介绍

2022-09-12 22:46:03 146

原创树状数组详解

树状数组的详解

2022-08-23 16:14:18 123

转载线上问题如何排查

线上问题排查思路1.磁盘空间不足问题2.CPU 与内存使用率过高问题3.网络延迟4.Java 程序的问题分析5.一些无法本地 debug 的调试技巧1.磁盘空间不足问题先用 df -h 从总体查看磁盘状态文件系统容量已用可用已用% 挂载点devtmpfs 1.9G 4.0K 1.9G 1% /devtmpfs 1.9G 24K 1.9G 1% /dev/shmtmpfs 1.9G 740K

2022-05-23 01:42:02 505

原创 git stash

git stash参考

2022-05-09 10:49:31 195

原创 Springboot 之 @EnableConfigurationProperties 注解

@EnableConfigurationProperties 注解的作用是:让使用了 @ConfigurationProperties 注解的类生效,并且将该类注入到 IOC 容器中,交由 IOC 容器进行管理一、使用 @ConfigurationProperties + @Component 注解如果一个类只配置了 @ConfigurationProperties 注解，而没有使用 @Component 注解将该类加入到 IOC 容器中，那么它就不能完成 xxx.properties 配置文件和 Ja

2022-05-03 21:24:26 322

原创 Linux相关命令

一、内存free二、磁盘dfdudmesg三、IOiotopiostat四、CPUtop五、负载uptimevmstat一、内存1.1 free查看机器内存使用情况:total：物理内存大小，就是机器实际的内存used：已使用的内存大小，这个值包括了 cached 和应用程序实际使用的内存free：未被使用的内存大小shared：共享内存大小，是进程间通信的一种方式buffers：被缓冲区占用的内存大小cached：被缓存占用

2022-04-29 19:55:18 635

原创 Mac上github ping不通

GitHub的IP地址查询在里面找到最新的github的ip地址然后sudo vim /etc/hosts在里面添加个github最新的ip地址 github.com

2022-04-18 16:09:29 968

原创 Presto源码解析--提交查询

本文的Presto是基于330版本提交查询的步骤presto的连接方式可以有两种，分别是CLI形式的和JDBC形式的，分别对应源码中的presto-cli模块和presto-jdbc模块，后续真正提交到presto coordinator对应到presto-client模块。本文以CLI来讲解Presto如何提交查询。Presto客户端对查询语句的提交主要分为以下3个步骤：从制定的文件、命令行参数或者Cli窗口中获取需要执行的Sql语句。将得到的Sql语句组装成一个RESTful请求，发送给Co

2022-04-16 20:45:08 1434

原创 IDEA远程debug配置

服务器端程序配置第一种方式比如我这次是需要远程debug presto程序，然后在presto目录下的etc/jvm.config中添加了如下一行命令-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=*:5009扩展：transport：调试时的通讯数据传输方式。address：地址端口server：是否监听调试请求。suspend：是否等待启动，即是否在debuger调试链接建立后才启动debug JVM。第二种

2022-04-15 17:44:40 2660

原创 mvn依赖冲突解决方法

在其中一个模块中加了一个新的依赖，然后mvn打包时提示如下错误划红线的地方就是依赖的版本冲突，我在模块中新添加的依赖是<dependency> <groupId>com.github.oshi</groupId> <artifactId>oshi-core</artifactId> <version>3.5.0</version></dependency>但是这个jar包中又依赖了第

2022-03-31 19:20:24 500

原创从HttpServletRequest中获取前端传过来的文件

@RequestMapping("/uploadFile") public void fileUpload(HttpServletRequest request) throws IllegalStateException, IOException { MultipartHttpServletRequest multipartRequest = WebUtils.getNativeRequest(request, MultipartHttpServle

2022-01-29 16:38:39 3689

原创 Spark 中log4j的设置

log4j.rootCategory=ERROR, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/ddHH:m

2021-05-17 15:55:14 622

原创 IDEA打jar包在服务器运行出现Error：Invalid or corrupt jarfile xxx.jar 报错

maven项目中有2个子模块，其中a模块依赖于b模块，打包成jar包放在linux下运行时，出现以下错误：ct-producer-1.0-SNAPSHOT.jar中没有主清单属性Error：Invalid or corrupt jarfile xxx.jar解决办法打开项目的Project Structure，按如下图片点击Module是你想要打包的模块Main Class是这个模块的main方法所在的类META-INF一定要放在这个模块的resources资源目录下，不能使用idea自动给

2021-04-26 20:19:39 6018 1

原创配置log4j.properties将运行日志输出在控制台

再resources资源文件夹下新建log4j.properties文件，在文件中输入以下信息log4j.rootCategory= INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.c

2021-04-22 19:52:18 487

原创 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [

想把hadoop102机器上的环境变量分发给hadoop103和hadoop104,xsync /etc/profile.d/my_env.sh，这里的xsync是自己的分发脚本#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo =========== $host

2021-04-15 16:06:26 1559 1

原创 Flume Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuchMethodErro

Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.ja

2021-04-08 20:51:31 1337

原创 Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.ap

这是hive想使用hiveserver2的服务时报错信息（首先要开启元数据服务，再开启hiveserver2服务，然后bin/beeline -u jdbc:hive2://hadoop102:10000 -n ding报错信息如下）Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException

2021-04-01 16:42:40 2217

空空如也

空空如也