哈哈哈哈哈哈哈

场景spark程序中报没有序列化的错：org.apache.spark.SparkException: Task not serializable建一段测试代码：public class SparkTest { public static void main(String[] args) throws AnalysisException { SparkTest ...

HDFS的体系结构：HDFS采用了主从（Master/Slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作：集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上...

sim-api介绍sim-api是一个极简的后端接口数据模拟框架，是为了解决多个服务或系统之间的数据依赖因为开发进度而相互影响的问题，适用于普通SpringBoot项目及微服务。特点代码侵入性几乎为0，只需要添加几行配置即可简单的操作方式，模拟数据一键开启或关闭支持不同的请求方式返回不同的模拟数据原理通过在应用中引入sim-api-client，扫描contr...

前言本文基于Hadoop2.9.2，使用3台云服务器，搭建分布式文件系统HDFS。在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买，比如，分别从BAT购买3台学生机，会很便宜，前提是要有学生身份。服务器配置来源主机名CPU磁盘容量阿里云al-s21核2G39.25G腾讯云tx-s21核2G39.25百度云bd-s21核2...

前言上一篇文章，我们利用3台云服务器搭建了一个Hadoop集群，并通过hadoop -jar命令运行了Hadoop自带的一个wordcount例子，那本片文章就通过实现一个wordcount程序，并在本地模式下运行这个程序，了解一下mapreduce编码规范，最后 再将这个jar包提交到真正的集群上运行。Hadoop maven依赖本想使用springboot集成的hadoop，但是发现其版...

需要将表中重复的数据删除，并且保留一条。如下，要删除un=aa的数据测试数据：思路：找出un=aa的所有记录，删除非记录中主键最大值的数据。 DELETE FROM tb_user WHERE id <> (SELECT max(id) FROM tb_user) AND un='aa'报错如下：You can’t specify target...

成环：可以是循环单链表，即首位相连；也可以是部分成环，即尾部和其他节点相连。判断是否成环：使用快慢指针遍历链表：慢指针：从头节点开始，一次跳一个节点。快指针：从头节点开始，一次跳两个节点。如果是成环的，这两个指针一定会相遇。如上图所示，蓝色表示慢指针，红色表示快指针，他们在经过4次遍历后相遇，也就是成环的。若不成环，则快指针一定先到尾部（若快慢指针起点相...

Singleton正确写法：今天偶然看到设计模式，就复习了一下，这里再对单例进行一个回顾和总结。1.静态内部类public class Singleton { private Singleton(){ } private static class SingletonFactory{ private static Singleton in...

Spring读取properties作为map:properties文件中:blog-top-links={home:"/home"}blog-list=1,2,3map的写法和json差不多，但是应该不支持嵌套，没有尝试。key加不加引号都可以,value加双引号单引号都可以，但是当key中有”-“时就必须加引号,例如key为:about-me时,就必须加引号否则解析失败...