- 博客(57)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 MySQL递归查询 获取某节点的各层父集和子集
使用GROUP_CONCAT将循环节点父级用逗号分隔存储为ids, 然后使用FIND_IN_SET查找父ID是否在ids内, 如果存在, 则说明子子集, 并且层级为l+1, 最后关联menu表获取title。定义变量r为id l为层数, :=表示赋值, 将当前节点的parent_id赋值给r, 当前层+1赋值给l, 递归查询, 直到r!= 0, 然后关联menus表获取title。
2023-05-23 17:56:58
504
原创 RabbitMQ Cannot convert from [java.lang.String] to [java.nio.channels.Channel]解决办法
记录一下入门RabbitMQ问题问题如下环境 解决方案:错误案列：正确案例Message,Channel两个包容易到错。附上我的消费者代码：
2022-12-06 17:50:50
1199
转载 Spring学习之Aop的各种增强方法
另外，当定义一个Around增强处理时，该方法的第一个形参必须是ProceedingJoinPoint类型（就是说至少包含一个形参），在增强处理方法体内，调用ProceedingJoinPoint的proceed()方法才会执行目标方法——这就是Around增强处理可以完全控制目标方法的执行时机、如何执行的关键，如果增强处理的方法体内没有调用这个proceed()方法，则目标方法不会执行。优先级高的切面类里的增强处理的优先级总是比优先级低的切面类中的增强处理的优先级高。
2022-11-19 23:55:13
839
原创 Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000
【代码】Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000。
2022-10-28 08:33:27
2807
原创 connect to host master port 22: No route to host 问题解决方案
问题分析：先去ifconfig能不能出现你自己配的网卡，一般情况是不能的，或者重启网卡会启动失败，当然了使用远程连接工具也会连接不上。问题描述：connect to host master port 22: No route to host。问题解决：系统自带的NetworkManager这个管理套件有关系，关闭并重启网络服务即可。禁用网卡管理：systemctl disable NetworkManager。关闭网卡管理：systemctl stop NetworkManager。
2022-09-20 12:14:45
1300
原创 com.mysql.jdbc.exceptions.jdbc4.MYSQLNonTransientConnectionException:Could not create connection to
这是数据库的版本跟驱动的版本不一致导致的。我的数据库版本是8.0 ，而安装驱动版本是5.1.7。因此出现了以上的bug。在pom.xml中的mysql-connenctor-java的依赖改成8.0.27即可。
2022-08-18 20:15:11
455
原创 spark错误提示：Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenced co
错误：Exception in thread "main" org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when the。意思就是json文件时按行读取，只能允许一样一样读取，以下的格式时会出现错误。将数据格式改成紧凑即可。...
2022-08-17 17:22:13
999
1
原创 Zookeeper案例：服务器动态上下线以及分布式锁的实现
zookeper从设计模式角度来理解：是一个基 于观察者模式设计的分布式服务管理框架，它负 责 存储和管理大家都关心的数据，然 后接受观察者的 注 册，一旦这些数据的状态发生变化，Zookeeper 就 将负责通知已经在Zookeeper上注册的那些观察 者做出相应的反应。服务端代码：客户端代码：什么叫做分布式锁呢？ 比如说"进程 1"在使用该资源的时候，会先去获得锁，"进程 1"获得锁以后会对该资源保持独占，这样其他进程就无法访问该资源，"进程 1"用完该资源以后就将锁释放掉，让其 他进程来获
2022-07-07 17:44:56
534
原创 我的创作纪念日
机缘刚开始是羡慕那些能够记录自己学习心得的人，还能有粉丝。所以也想通过写博客的方式，一方面可以对所学知识进行巩固，另一方面还可以分享给需要的人。收获其实我真正写博客大概坚持写博客是从2021年11月份开始的，其他的时间基本都是有一搭没一搭的写，比较混乱。截止目前为止，获得了600多个粉丝的关注。阅读量有4万多，但是评论的人却不多，志同道合的人也没认识一个，ε=(´ο｀*)))唉，日常创作是我学习的一部分，我基本上都是当写学习笔记那样写博客憧憬 希望自己的文章能够...
2022-05-20 11:30:28
173
7
原创 Scala语言进阶（一）
1. 关于SCALA包1.1 包命名规则只能包含数字、字母、下划线、小圆点.，但不能用数字开头，也不要使用关键字。一般是小写字母+小圆点 com.域名.公司名.项目名.业务模块名1.2 包对象在 Scala 中可以为每个包定义一个同名的包对象，定义在包对象中的成员，作为其对 应包下所有 class 和 object 的共享变量，可以被直接访问。在包对象中可以定义，在这个包内可以共享的内容1.3 导包说明注意：Scala 中的三个默认导入分别是impor
2022-05-16 21:08:10
920
1
原创 Scala基础语法（二）
目录1. 函数基础语法1.1. 函数与方法的区别1.2 函数的定义1.3 关于函数的参数1.4 函数至简原则1.5 函数高阶用法（1）作为值进行传递（2）作为参数传递（3）函数可以作为函数返回值返回1.6匿名函数1.7 高阶函数案例1.8 函数柯里化和闭包闭包和柯里化案例如下：1.9 关于递归1.10 自定义while循环1.11 惰性加载首先，Scala 语言是一个完全面向对象编程语言。万物皆对象。其本质与JAVA一致。其次，S..
2022-05-16 09:07:48
396
原创 SCALA、JAVA、以及JVM之间的关系
1. SCALA、JAVA、以及JVM之间的关系2.SCALA编译解读（1）通过scalac编译scalawe文件生成两个字节码文件（2）通过反编译工具查看两个字节码文件内容helloscala.class文件HelloScala$.class（3）反编译结果分析HelloScalaHelloScala..MODULE$.main(paramArrayOfString);此句应是调用HelloScala$的一个静态属性（对象）MODULE$的mai
2022-05-09 20:42:23
599
原创 关于串行、并行 、并发 、同步、异步
目录1.认识进程与线程2.串行的概念3.并行的概念4.并发的概念5.什么是同步？6.什么是异步？7.个人理解1.认识进程与线程首先需要了解一下进程和线程的概念。进程是系统资源分配和调度的基本单位，而线程是程序执行的最小单位。我们可以看成进程是由线程组成的。2.串行的概念串行是指一个时间段内，执行一个任务的同时不能执行其他任务，只能等到第一个任务弯沉过后才能进行第二个。比如排队上厕所，你只有等前一个人上完了，才可以进去。3.并行的概念并行是指一个时间段内
2022-04-15 09:13:09
4454
原创 静态代码块、静态变量、成员变量等加载顺序详解
目录1 单个类的初始化顺序2. 父子类初始化顺序1 .单个类的初始化顺序一个类 无论创建多少对象，静态数据只占用一份存储区域，且只在类第一次初始化的时候进行静态数据初始化顺序如下:单个类而言: 静态变量/静态代码块 --> 成员变量（普通代码块） --> 构造方法 --> 静态方法构造方法本身也是静态方法栗子public class TestStatic { { System.out.println("代码块1"); }
2022-04-07 14:56:17
4503
原创 VMware虚拟机 之 NAT模式详解
如果你的网络ip资源紧缺，但是你又希望你的虚拟机能够联网，这时候NAT模式是最好的选择。NAT模式借助虚拟NAT设备和虚拟DHCP服务器，使得虚拟机可以联网。其网络结构如下图所示：在NAT模式中，主机网卡直接与虚拟NAT设备相连，然后虚拟NAT设备与虚拟DHCP服务器一起连接在虚拟交换机VMnet8上，这样就实现了虚拟机联网。那么我们会觉得很奇怪，为什么需要虚拟网卡VMware Network Adapter VMnet8呢？原来我们的VMware Network Adapter VMnet8虚拟网
2022-03-30 22:20:36
24640
17
原创 在Ubuntu服务器上离线安装Mysql
1. 官网下载数据库Mysql官方链接https://downloads.mysql.com/archives/community/
2022-03-28 11:30:30
8859
9
原创 循环反序列化多个对象(java.io.StreamCorruptedException: invalid type code: AC)
目录1. 情况说明：在循环返序列化的过程中出现如下bug2. 产生原因：我在创建输出对象流的时候，设置成了可追加状态3. 解决方法：把true删掉即可4. 可执行的源码5. 结果1. 情况说明：在循环返序列化的过程中出现如下bug:2.产生原因：我在创建输出对象流的时候，设置成了可追加状态 // 创建一个对象输出流 ObjectOutputStream objectOutputStream = new ObjectOutput...
2022-03-20 19:45:42
589
原创 大数据之Shell基础
目录1.shell概述2.shell脚本入门2.1 shell 解析器2.2 脚本格式3.shell中的变量3.1 系统变量3.2 自定义变量4.运算符4.1基本语法4.2 案例实操：5.条件判断5.1 基本语法5.2 常用判断条件6.流程控制6.1 if判断6.1.1 基本语法6.1.2 案例实操6.2 case语句6.2.1 基本语法6.2.2 案例实操6.3 for循环6.3.1 基本语法6.3.2 案例实操.
2022-01-06 20:54:55
1281
2
原创 教你一招解决HDFS故障排除
1.1 问题描述NameNode 进程挂了并且存储的数据丢失，如何恢复NameNode1.2 解决方式 （1） 拷贝 SecondaryNameNode 中数据到原 NameNode 存储数据目录（2）重启namenode节点1.3模拟案例 故障模拟：问题解决：2. 磁盘故障处理在说磁盘故障处理之前，需要了解一下安全模式，安全模式是指文件系统只接受读数据请求，而不接受删除...
2021-12-14 16:17:16
3760
14
原创 Yarn实现Tool接口
目录1.前情回顾2.需求3.编码3.1新建 Maven 项目 YarnDemo3.2新建 com.xxxx.yarn包名3.3创建类 WordCount 并实现 Tool 接口3.3 新建WordCountDriver类1.前情回顾[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar wc.jar com.atguigu.mapreduce.wordcount2.WordCountDriver /input /output1...
2021-12-12 17:24:57
1299
原创 Yarn 根据实际需求修改yarn-site.xml 配置参数
1.需求从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。2.需求分析1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3）3.修改 yarn-site.xml 配置参数<!-- 选择调度器，默认容量 --><property><description>The clas
2021-12-12 11:32:15
1939
原创 Yarn生产环境核心参数
1.ResourceManager相关yarn.resourcemanager.scheduler.class #配置调度器，默认容量yarn.resourcemanaager.scheduler.client.thread-count #ResourceManager处理调度器请求的线程数量，默认502.NodeManager相关yarn.nodemanager.resource.detect-hardware-capabilities #是否让yarn自己检测硬件进行配置，默...
2021-12-11 20:03:57
1271
原创 Hadoop案例：数据压缩
在Driver类中添加以下代码即可：1.在mapper输出端压缩 Configuration conf = new Configuration(); Job job = Job.getInstance(conf);// 开启 map 端输出压缩conf.setBoolean("mapreduce.map.output.compress", true);// 设置 map 端输出压缩方式conf.setClass("mapreduce.map.output.compress.codec",
2021-12-08 19:12:45
1355
原创 Hadoop案例：数据清洗（ETL）
目录1.概述 2.需求3.代码实现3.1编写WebLogMapper类3.2编写WebLogDriver类1.概述 “ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取 （Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL 一词较常用在数据仓 库，但其对象并不限于数据仓库 在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户 要求的数据。...
2021-12-08 15:53:58
4700
原创 Hadoop案例：Mapper端多表合并
上一篇文章是在Reduce做表合并，这种方式容易导致数据倾斜问题，因为当数据量很大的时候，多个MapTask数据全部汇总到Rdducer端处理会增大Reduer的负荷量，降低降低计算效率。因此，本文将在Map端进行多表合并
2021-12-07 17:06:14
1802
原创 Hadoop案例：Mapreduce解决多个关联表整合问题（Redue Join）
在实际工作中可能会遇到这样的需求，将多个关联的表格整合到一张表中。
2021-12-06 14:26:59
1577
原创 Hadoop案例：自定义OutputFormat数据输出
1.OutputFormat概述目录1.OutputFormat概述2.自定义OutputFormat2.1应用场景2.2 自定义OutputFormat步骤3.自定义OutputFormat案例3.1需求3.2代码实现（1）编写LogMapper类（2）编写LogReducer类（3）编写自定义LogOutputFormat继承OutputFormat (4) 编写LogRecordWriter类（5）编写Driver类OutputFormat...
2021-12-03 21:32:56
2313
原创 Hadoop案例：WritableComparable实现分区内排序
排序是maprduce的重要部分，这里将利用继承WritableComparable实现自定义排序。
2021-12-03 11:54:59
1922
原创 超级硬核：大数据开发面试只需一张图
下面流程是整个mapreduce详细工作流程图流程：1. 确定待处理文本2.客户端在submit（）前需要获取待处理的数据。大致流程是先判断判断job的当前状态，然后做hadoop2.x与handoop3.x的兼容，再做connect（）确定当前任务是在本地模拟器上运行还是在搭建的Yarn集群上运行，最后进入submit()阶段。在submit()过程中会根据客户端类型（本地还是yarn集群），创建stagingdir路径存放临时文件，创建jobID与stagingdir绑定起来，根据jo.
2021-12-02 10:59:17
561
原创 hadoop经典案列（wordcount）源码解析
wordcount是hadoop最简单也是最经典的案例之一。假如我们要计算《You Have Only One Life》中每个单词出现的次数编码可分为三个部分：1.map阶段2.reduce阶段3.driver阶段
2021-11-28 12:08:51
1367
1
原创 Hadoop：HDFS读写流程详解
hdfs分布式存储是hadoop的一个重要组成部分，本次将对dfs的hadoop的输入输出（上传下载）的过程进行简要介绍。
2021-11-26 17:28:11
821
原创 pom.xml中引入junit为什么无法使用@Test,@After @Before注解？
问题: pom文件明明引入了unit，为什么还是用不了？配置如下：<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope></dependency>原因...
2021-11-19 11:30:58
1215
面试中可能问到的.docx
2020-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人