小五冲冲冲-优快云博客

原创 dbeaver连接phoenix

驱动选择跟集群部署一个对应的client的jar包如果你的集群里的hase的配置文件加了下面两项配置，连接也要加编辑连接 > 驱动属性 > 添加用户属性phoenix.schema.isNamespaceMappingEnabled truephoenix.schema.mapSystemTablesToNamespace true还需要配置java路径编辑D:\DBeaver\dbeaver.ini添加-vmD:\jdk_1.8\bin

2024-02-29 10:56:23 517

原创 idea无法登录leetcode

everything搜索leetcode-config.xml或者找到idea路径下的C:\Users\xxx\AppData\Roaming\JetBrains\IntelliJIdea2021.3\options下的leetcode-config.xml文件。原因：idea版本低了，leetcode插件版本也低了，leecode地址已经由leetcode-cn.com改成了leetcode.cn。将leetcode-cn.com改成leetcode.cn。解决方法：改配置文件。

2023-08-29 15:03:01 1150 1

原创 idea的插件商店无法搜索插件

2023-03-14 18:40:52 310

原创项目突然打开爆红的问题

项目爆红

2023-03-08 20:18:57 419

原创 Couldn‘t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro

问题1：Couldn’t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro。问题2：Class org.apache.hadoop.hdfs.DistributedFileSystem not found。

2023-03-05 01:33:22 2763

原创跨域问题解决

请求的method显示option 报错403。controller的方法上加上。

2023-03-02 20:00:34 117

原创 spark-sql查表出现Class com.hadoop.compression.lzo.LzoCodec not found

缺少lzo的包，网上下载lzo的包我的是hadoop-lzo-0.4.20.jar。放入hadoop目录与spark目录。

2023-02-16 21:26:19 277

原创 spark-sql客户端连接不上hive

参考：https://blog.youkuaiyun.com/m0_73734232/article/details/128273959。复制hive配置文件以及存储元数据的mysql jar包即可。原因缺少hive配置文件。

2023-02-16 21:17:05 346

原创执行spark程序出现(null) entry in command string: null ls -F E:\tmp\hive

spark

2023-02-09 18:58:50 357

原创 kylin出现NotServingRegionException

hbase出现问题了（一般是太久没开启了），需要删除hbase在zookeeper上的元数据（重启会自动新建）deleteall /hbase 删除hbase节点。zkCli.sh 进入zk客户端。重启zk、hdfs、hbase。

2023-01-10 19:24:47 277

原创 Presto启动OSError /opt/module/presto/bin/launcher.py

需要python2启动，你可能配conda配python3的时候配错了，把这个py文件的首行改成python2.7即可。

2023-01-09 20:22:29 228

原创 superset安装出现cryptography.hazmat.backends.openssl.x509

i https://pypi.tuna.tsinghua.edu.cn/simple 指定清华园镜像pip install。cryptography版本问题，更新成老版本3.2即可。azkaban出现任务一直在准备状态。python pip安装的其他问题。指定某个软件的版本下载。

2023-01-08 22:09:07 2804

原创 idea连接hive老是自动断开连接java.net.ConnectException: Connection refused: connect.

原因：hive的jdbc服务hiveserver2服务不稳定，容易掉线，导致idea无法连上hive，实际上idea能连上hive靠的就是hiveserver2服务。解决办法：在hive的配置文件hive-site.xml中开启hiveserver2服务的高可用，即掉线了会马上再开启一个，配置如下。

2022-12-17 01:55:12 1537

原创 idea连hive出现要密码

原因：hive-site.xml的hiveserver2服务（连jdbc的服务）没配好。idea连hive和beeline连hive是一个道理。指定hiveserver2连接的host。两个配置（注意缩进）

2022-12-15 22:32:22 315

原创【无标题】

hadoop104 cd /opt/module/flume-1.9.0/conf 日志消费flumevim kafka-flume-hdfs.confa1.sinks.k1.hdfs.codeC = org.apache.hadoop.io.compress.GzipCodeccd /home/atguigu/bin mysql_to_hdfs_init.sh mysql_to_hdfs.sh首日sqoop同步脚本与每日同步脚本，并删除创建lzo索引的命令org.apache.hado

2022-12-04 22:04:30 515

原创配置了高可用的hadoop怎么格式化namenode

配置了高可用的hadoop怎么格式化namenode

2022-12-03 15:50:28 826

原创 hive on spark配置经验

注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode就需要格式化（删除hadoop下的data logs文件夹执行hdfs namenode -format）常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive。hive-site.xml文件中需要配置两个与spark连接的配置文件，没配置，你能够从报错的日志中找到。至于版本问题我用的hive-3.1.2 spark3.0.0。

2022-12-01 21:42:24 910