- 博客(17)
- 收藏
- 关注
RSS订阅原创 Python在idea中报错。python version 3.1 does not support a f prefix
本地配置的是python3.10，但是在idea中识别到的是3.1
2023-02-28 17:55:31
2085
1
原创 java：解决 Lambda expressions are not supported at language level ‘5‘
背景：通过lambda表达式写的代码一直飘红
2022-06-14 14:29:39
533
原创 idea中如何查看jar包
当把项目打好包之后，如何对.class文件进行查看呢？第一步：打开idea，找到libraries第二步：找到需要添加的jar包，进行添加第三步：添加好jar包之后会出现下边的界面，同时点击ok或者apply我们可以在项目下边看到刚刚添加好的jar包，可能出现在最上方也可能出现在最下方...
2022-05-30 17:23:15
1012
原创 idea 打包不出现target的原因
idea打包maven代码块 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <conf
2022-05-30 17:13:42
3223
原创 hive中的string类型转换成map复杂类型
CREATE TABLE `dwd.dwd_all_devicelocus_new`( `projectid` string, `vin` string, `equipmentid` string, `starttime` string, `kmtotal` string, `lat` string, `lon` string, `endtime` string, `e_kmtotal` string, `e_lat` string, `e..
2022-04-08 18:08:57
4294
原创 虚拟机用xshell连接不上怎么解决，同时虚拟机也ping不通外网
配置了三台虚拟机，发现其他两台都可以连接上，唯有102连接不上。解决方法1、首先检查v8是否是打开的2、看是否可以Ping通本机，是否可以ping通外网3、关闭虚拟机，点看虚拟机->虚拟机网络编辑，查看是否为下图的状态。如果不是或者实在找不到方法可以恢复默认设置。之后重新打开就可以使用了。执行上边三步的任意一步之后都可以打开虚拟机去试下能否连接上...
2021-09-20 23:31:15
354
原创 hive on spark 提交任务出现问题
背景：启动hive之前已经启动了hadoop、hiveserver2。而且已经进入到了hive的界面中，且创建好了表格和装载了数据，但是当进行sum操作的时候，报了下边的错误。spark session的问题？org.apache.hadoop.hive.ql.parse.SemanticException: Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to.
2021-09-04 01:46:50
935
2
原创 Phoenix启动过程出现的问题
在Phoenix启动的时候发现在这个界面一致卡顿检查了命令发现没有错误，hadoop，hbase，zookeeper都已经启动了，而且利用hadoop的16010web界面也可以看见master但是检查完日志发现出现了问题，红框中圈出的部分Master startup cannot progress, in holding-pattern until region onlined;解决方法进入zookeeper的客户端利用命令 deleteall /hbase 删除h...
2021-08-24 19:39:43
1840
原创 flink简单项目错误
在运行flink从文本中读取文件的时候出现了下边的错误Recovery is suppressed by NoRestartBackoffTimeStrategyThe provided file path input/word.txt does not exist.首先排除了文件路径不存在的错误，之后翻看了pom文件，发现使用的是1.12版本的flink，但是引用的却是2.12版本的scala，在flink的官网中如果安装12版本的flink，必须要使用到12版本的scala，因此在ide
2021-08-09 00:05:15
916
1
原创 zabbix监控部署
最近在使用zabbix框架的过程中，当只有一个主机的时候在创建完监控项，触发器，动作之后会出现绿色，但当加入多个主机进行监控的时候一直出现红色，重新创建或者使用模板都是错误的，因此去查看日志找到了错误的原因通过/var/log/zabbix查看日志发现主机的地址不一致的问题，连接的是192.168.10.102，但是需要的是127.0.0.1将agent的配置文件进行修改即可将地址改为hadoop102就可以使用了，当然如果有多个agent的话，要改变相应的地址即可..
2021-07-28 01:18:31
120
原创 数仓项目出现脏数据怎么办
我们在创建各个层次表格的时候如果没有设置读取方式，hive在读取数据的时候会产生一定的脏数据出现 __HIVE_DEFAULT_PARTITION__ 这样的分区解决方法为在创建表格的时候，先执行set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;当然如果已经出现了脏数据，可以将hdfs上脏数据分区原始数据进行删除再将表格中的脏数据分区进行删除alter table dwd_order_info
2021-07-16 01:20:45
696
原创 flume的简单案例
Flume的简单案例监控数据端口需求：使用Flume监听一个端口，收集该端口的数据，并打印到控制台分析：1、使用netcat工具向本机的端口号发送数据【以44444端口为例】 2、Flume监控本机的端口号，通过Flume的Source端读取数据 3、Flume将获取的数据通过Sink端写出到控制台步骤：①安装netcat工具sudo yum install -y nc ②判断端口号是否被占用sudo netstat ...
2021-06-05 01:08:44
171
原创 Flume的简单介绍
要想把大量的数据变成有用的信息，需要经过分析计算，可以使用hdfs对数据进行保存，使用MR对数据进行分析和计算，采集数据的过程可以交给FlumeFlume的定义
2021-05-30 23:38:42
308
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人