夺命大翻斗-优快云博客

原创 Hdfs开启后datanode掉了

在该目录下/opt/apps/hadoop-3.1.1/etc/hadoop中的配置文件hdfs-site.xml中找到namenode存储元数据的位置/opt/hdpdata。解决的方法比较简单粗暴，可以先排除一下配置文件是否有误等其他原因，实在解决不了就将hadoop进行初始化（将hdpdata文件夹删除，然后重启namenode所在的机器即可。

2024-03-06 21:18:39 680 1

原创 ssh免密登录

2.将生成的将生成好的公钥发送给集群中的其他机器ssh-copy-id 主机名。集群中启动组件时总是让输入密码，这是我们可以通过ssh实现免密登录。1.生成密钥: ssh-keygen。3.在每台机器上都进行第一、二步操作。

2024-02-26 22:14:01 435

原创 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.

2024-02-26 20:23:20 1925

原创打开电脑发现D盘不见了,桌面上的东西都没了,只剩一个C盘

D盘不见了,桌面上的东西都没了,只剩一个C盘

2024-01-27 09:58:30 625

原创 FAILED: SemanticException [Error 10294]: Attempt to do update or delete

解决:在创建表时添加TBLPROPERTIES ( 'transactional'='true');原因:hive不支持update or delete。

2024-01-23 19:49:38 1029

3.distribute by:按照指定字段将数据分到不同的reduce,如果不指定就按照一行的哈希值进行分区,结合sort by使用,distribute by 在前,sort by 在后.2.sort by:为每个reduce产生一个排序文件,多个reduce内部进行排序,如果只有一个reduce,那么全局有序;如果有多个reduce,则保证每个reduce文件内部有序.1.order by:对输入的数做全局排序,因此只有一个reduce,即使设置多个reduce,也不生效。

2024-01-11 19:53:17 419

原创如何将linux上的文件发送到本地指定路径?

将linux上的文件发送到本地指定路径

2024-01-09 21:11:48 604

原创如何解决电脑内存不足,卡顿的问题:更换内存条

当我们使用电脑的时候发现尽管没开太多的应用程序,电脑依然很卡,或者在某些应用中出现了内存溢出的情况,可能就是因为自己的内存小的原因,这是我们就可以用物理方法解决-->更换内存条!打开任务管理器,查看速度一栏,购买时需要跟它一致,已使用的插槽可以看到自己电脑里有几个内存条.我这个原来是8G内存,包含两个4G的内存条,后来把其中一个换了一个16G的.一般商家都会发指导视频,根据他的操作来就好啦!大致的操作是关机后把笔记本后盖拆开,然后找到内存条的位置装上或者替换,开机之后再查看内存就可以看到内存已经扩大了!

2024-01-05 18:05:56 871 1

原创 Spark向Hbase中写数据报异常:org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 5

将第二行代码中的表名写全,并指定在哪个名称空间。

2024-01-03 19:52:31 560 1

原创启动Hbase后HMaster老是掉的原因

其次,查看log日志文件,发现是元数据信息记录有误,将zk客户端里记录的hbase节点删除,还要删除hdfs上根目录下的hbase删除,这样就将hbase恢复到了一个初始的状态;或者提前拍过快照,将机器直接恢复快照.1.启动Hbase之前先启动hdfs,zookeeper,再启动Hbase,但是隔一会就发现HMaster掉线了,但是hregionserver还在.2.解决:重新启动Hbase之前,先kill掉hregionserver。首先,检查是否是配置的问题,检查无误,排除;

2024-01-03 17:50:27 1672 1

原创数组索引越界异常

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 0.0 failed 1 times, most recent failure: Lost task 1.0 in stage 0.0 (TID 1) (192.168.133.2 executor driver): java.lang.ArrayIndexOutOfBoundsException: 1

2024-01-02 12:13:44 584

原创 idea中打jar包出现的问题

在idea中打jar包,运行成功,但是target下显示的不是.jar。原因是:在pom文件中,有一个参数设置了jar包的格式。解决:将pom改为jar。

2023-12-29 21:52:34 911 1

原创窗口函数练习

窗口函数练习

2023-11-25 19:59:53 372

原创 Java基础07 面向对象和面向过程

成员变量定义在成员位置\n 局部变量定义在方法内或者代码块内\n 2.作用域不同\n 成员变量在整个类中都生效\n 局部变量只在对应的方法中定义后生效。同作用域下,成员变量与成员变量不能同名,局部变量与局部变量也不能同名,成员变量可以与局部变量同名,当我们使用一个变量时会先在局部范围内找有没有这个变量,如果有直接使用如果没有则会到成员位置找有没有这个变量;

2023-10-08 20:01:13 52 1

原创 java随机点名案例

java随机点名案例详细代码

2023-09-26 20:29:03 191

原创 Java基础06---自定义类型 ArrayList集合

java自定义类型 ArrayList集合

2023-09-26 20:27:34 59

原创 java基础05--- 方法

方法又称函数,将一段功能性代码进行打包,方便调用,提高代码的复用性.

2023-09-26 20:24:59 54

原创 Java基础04之数组

数组

2023-09-23 19:55:37 60 1

原创 Java基础03

idea安装及使用,引用类型;if,switch,循环

2023-09-23 19:54:41 55 1

原创 java基础01

计算机 CPU:中央处理器,负责计算机上所有程序的运行硬盘:永久性存储内存:暂时性存储 java之父詹姆斯.高斯林常用DOS命令返回上一级cd.. 返回根目录cd/ 切换盘符盘符: 清屏 cls 查看目录下的内容 dir Java环境搭建 JDK:Java开发工具包,包含JRE和Java开发工具 JRE:java 运行环境,包含JVM和核心类库 JVM:Java虚拟机环境配置 1.方便Java程序在任意位置运行编写程序 2.方便后

2023-09-21 15:55:02 54

原创 Java基础02之变量运算符数据类型及其转换

Java基础之变量运算符数据类型及其转换

2023-09-21 15:50:44 45

原创代码：购买的水果信息

【代码】代码：购买的水果信息。

2023-08-24 07:54:38 108 1

原创用Java写的第一个代码“HelloWorld“及详细注释

【代码】用Java写的第一个代码“HelloWorld“及详细注释。

2023-08-20 16:01:57 84 1

原创 JDK1.8的下载、安装及环境配置

JDK1.8的下载、安装及环境配置

2023-08-20 15:55:27 236 1

原创大数据之入门Java语言01

核心要素：交互界面（如桌面图形界面、Web界面）、数据的输入（如账号、密码）、结果输出（验证账号密码的正确性并输出结果）满足条件，循环反复——循环控制。1——2——3———顺序执行。逻辑：如果......就......——条件控制。数据：字符串（数字、字母）、图片、音频等；例如：QQ、微信、WPS等。2.软件开发——编程。

2023-07-07 20:49:33 52 1

m0_59603265的博客