Java

一、安装解压压缩包tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/修改三个文件spark-env.shslaves/etc/profile(1）spark-env.sh将conf/spark-env.sh.template配置模板文件复制一份并命名为spark-env.sh修改spark-env.sh文件，在该文件添加以下内容(根据自己的配置进行修改）vim spark-env.sh

文章目录导入数据到hdfs导入数据到Hive导出数据导入数据到hdfs（1）MySQL准备表和数据# 建库create database sqooptest；use sqooptest；# 建表create table person(id int primary key auto_increment,name varchar(30),age int,score int,position varchar(30));# 插入数据insert into person values(null,'

首先，将azkaban部署在拥有Hadoop、Hive、Mysql的集群上，方便调度。准备好jar包：上传安装包并解压缩到指定目录web-serverexecutor-servertar -zxvf azkaban-web-server-2.5.0.tar.gz -C /export/servers/azkaban-2.5.0/tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /export/servers/azkaban-2.5.0/

解压安装好flumetar -zxvf /export/software/apache-flume-1.6.0-bin.tar.gz -C /export/servers修改flume的配置文件进入到Flume的conf目录下，修改Java的环境变量，指定jdk路径[root@hadoop01 conf]# cp flume-env.sh.template flume-env.sh[root@hadoop01 conf]# vi flume-env.sh使用Flume系统，只需.

Flume环境部署一、概念Flume运行机制：Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成每一个agent相当于一个数据传递员，内部有三个组件：Source：采集源，用于跟数据源对接，以获取数据Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据Channel: angent 内部的数据传输通道，用于从source将数据传递到sink...

一、概念什么是Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive与Hadoop的关系Hive利用HDFS存储数据，利用MapReduce查询数据数据存储1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。

YarnYarn 是一个资源调度平台，负责为运算程序提供服务器运算资源。组件构成：Yarn主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。（1） ResourceManager：包括Scheduler 、ApplicationsManager;Scheduler：负责资源调度，调度策略可插拔（内置实现 CapacityScheduler / FairScheduler ），不提供对application运行的监控

目录1.HandlerInterceptor2.HandlerMethodArgumentResolver1.HandlerInterceptor自定义一个拦截器public class TestInterceptor implements HandlerInterceptor { //preHandle是在请求执行前执行的 //返回true,postHandler和afterCompletion方法才能执行 // 否则false为拒绝执行，起到拦截器控制作用 @Overr

目录@ResponseBody总结：将java对象转为json格式的数据。@responseBody注解的作用是将controller的方法返回的对象通过适当的转换器转换为指定的格式之后，写入到response对象的body区，通常用来返回JSON数据或者是XML数据。注意：在使用此注解之后不会再走视图处理器，而是直接将数据写入到 HTTP response body 中，一般在异步获取数据时使用【也就是AJAX】，他的效果等同于通过response对象输出指定格式的数据。注意：在使用 @Requ

目录很多小伙伴们就会提出他们都采用了静态化的方案，这样用户请求直接获取静态数据html，就不需要访问数据库了，性能就会大大提高；而且提高网站SEO优化。https://blog.youkuaiyun.com/suifeng629/article/details/95375349...

引入插件 <build> <plugins> <plugin> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-maven-plugin</artifactId> <version>1

rundll32 sysdm.cpl,EditEnvironmentVariables

文章目录工厂方法模式：定义了一个创建对象得接口，但由子类决定要实例化得类是哪一个。工厂方法让类把实例化得工作推迟到子类中。

文章目录一、要点二、代码一、要点装饰者模式： 动态地将责任附加到对象上。若要扩展功能，装饰者提供了比继承更有弹性的替代方案。开放-关闭原则 ： 对扩展开放，对修改关闭。现在有了开放-关闭原则引导我们。我们会努力地设计系统，好让关闭的部分和新扩展的部分隔离。下面是装饰者模式的一个设计图：仔细看。之后的星巴兹饮料实例，都是基于这种模型，具体演进过去的。星巴兹咖啡的例子。这里基础的饮料就是Component，而调料就是具体的 Decorator。在开始动手写代码实现星巴兹咖啡之前，有一

文章目录1.启动之前2.启动之后1.启动之前参考资料：springboot启动前执行方法的几种方式2.启动之后

文章目录相关文章：Springboot加载自定义yml文件配置的方法从xml配置读取spring yml属性 <!-- 获取属性的配置文件--> <context:property-placeholder location="classpath:config-consumer.properties"/> <bean id="yamlConsumerProperties" class="org.springframework.bea

文章目录一、介绍二、方式一：懒加载三、多线程单例方式三、急切方式四、双重枷锁23种设计模式总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。一、介绍二、方式一：懒加载下面是一个“巧克力熔炉”

文章目录一、RabbitMQ的介绍一、RabbitMQ的介绍详细的RabbitMQ理解键分类专栏。下面是RabbitMQ的一些理论性名词说明，要理解各个英文对应的意思。注意：channel为了防止每次消费消息都获取一次TCP连接，所以采取复用连接技术，一个连接中有多个channel管道，消费者可以通过不同的channel管道消费。broker相当于一个代理服务器，也就是RabbitMQ的消息代理服务器。...

文章目录一、介绍二、上手试试自定义类型处理器应用处理器一、介绍MyBatis 在设置预处理语句（PreparedStatement）中的参数或从结果集中取出一个值时， 都会用类型处理器将获取到的值以合适的方式转换成 Java 类型。可以在官方文档中看到，下面时默认的类型处理器。但是，我们还是有个麻烦事比如：javaBean中字段类型为Date，数据库中存储的是varchar类型；javabean中字段类型是Enum，数据库中存储的是varchar或者Integer。javaBean中字段类

文章目录MyBatis传入多个参数的问题MyBatis传入参数为List对象Mybatis 3 官方参考文档

文章目录问题：设想一个服务者除了提供一个服务接口的具体实现、内部也有很多POJO模型、异常处理。消费者调用远程接口实现时使用Dubbo，那么Dubbo如何处理 服务模型、异常等的RPC调用呢？...

文章目录10.1 整合JDBC10.2 整合Mybatis注解版踩坑xml版10.3 整合SpringData-JPA10.1 整合JDBC10.2 整合Mybatis <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId&

文章目录1. 介绍1. 介绍众所周知当前流行的高并发项目基本上都是分布式/微服务的，比如在购物平台中，用户模块调用订单模块的服务，就需要RPC框架支持，这时就有了Dubbo，而远程过程调用时，还需要一个注册中心：Zookeeper。Dubbo服务提供方（provider）服务消费方（Consumer）Zookeeper开放源码的分布式应用协调服务配置维护域名服务分布式同步组服务...

/** * 分治算法：汉诺塔 */public class Hannoitower { public static void main(String[] args) { hannoitower(3,'A','B','C'); } /** * 递归汉诺塔 * @param num 盘得个数 * @param a 代表 a塔 * @param b 代表 b塔 * @param c 代表 c塔 */

文章目录一、什么是基准测试参考资料：【基准测试】JMH 简单入门JMH 微基准测试套件一、什么是基准测试基准测试（benchmarking）是一种测量和评估软件性能指标的活动。你可以在某个时候通过基准测试建立一个已知的性能水平（称为基准线），当系统的软硬件环境发生变化之后再进行一次基准测试以确定那些变化对性能的影响。这是基准测试最常见的用途。其他用途包括测定某种负载水平下的性能极限、管理系统或环境的变化、发现可能导致性能问题的条件，等等。BenchmarkModeCntScore

1.ElasticSearch下载地址：https://www.elastic.co/downloads/elasticsearch下载压缩包后解压，直接双击bin目录下的 elasticsearch.bat文件测试一下访问9200端口是否成功，该端口是elasticsearch对Restful API 的HTTP形式的开放端口。...

文章目录Code review应该怎么做如何高效迅速的进行CodeReview下面推荐一些 Code Review 工具：Crucible：Atlassian 内部代码审查工具；Gerrit：Google 开源的 git 代码审查工具；GitHub：程序员应该很熟悉了，上面的 “Pull Request” 在代码审查这里很好用；LGTM：可用于 GitHub 和 Bitbucket 的 PR 代码安全漏洞和代码质量审查辅助工具；Phabricator：Facebook 开源的 git/mer

一、单元测试桩模块测试要求在对软件单元进行动态测试之前，应对软件单元的源代码进行静态测试；应建立测试软件单元的环境，如桩模块和驱动模块，其测试环境应通过评审；对软件设计文档规定的软件单元的功能、性能、接口等应逐项进行测试。每个软件特性应至少被一个正常测试用例和一个被认可的异常测试用例覆盖测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；语句覆盖率要达到100％；分支覆盖率要达到100％；对输出数据及其格式进行测试。单元测试任务：模块接口测试；模块局部数据结构测试；

简析@Resource 和 @Autowired的区别https://www.cnblogs.com/donfaquir/p/9325617.html

文章目录一、匹配规则一、匹配规则https://www.runoob.com/java/java-regular-expressions.htmlPattern 类：pattern 对象是一个正则表达式的编译表示。Pattern 类没有公共构造方法。要创建一个 Pattern 对象，你必须首先调用其公共静态编译方法，它返回一个 Pattern 对象。该方法接受一个正则表达式作为它的第一个参数。Matcher 类：Matcher 对象是对输入字符串进行解释和匹配操作的引擎。与Pattern 类一样

文章目录

在 Java 中， 如果某个方法不能够采用正常的途径完整它的任务， 就可以通过另外一个路径退出方法 。 在这种情况下 ， 方法并不返回任何值 ，而是抛出( throw ) 一个封装了错误信息的对象。 需要注意的是 ， 这个方法将会立刻退出 ， 并不返回任何值。 此外 ， 调用这个方法的代码也将无法继续执行 ， 取而代之的是 ， 异常处理机制开始搜索能够处理这种异常状况的异常处理器 （exception handler )...

第一章 计算机基础第二章 面向对象1. 浅拷贝与深拷贝2. 抽象类与接口的区别

文章目录一、封装问题一、封装问题P110页警告 ： 注意不要编写返回引用可变对象的访问器方法 。 在 Employee 类中就违反了这个设计原则 ， 其中的 getHireDay 方法返回了一个 Date 类对象 。class Employee{private Date hireDay ;public Date getHireDayO{return hireDay ; / / Bad}LocalDate 类没有更改器方法 ， 与之不同 ， Date 类有一个更改器方法 setTim

文章目录5.1.6 理解方法的调用5.1.7 final 与方法的内联优化5.1.8 强制类型转换5.1.10 protected5.1.6 理解方法的调用弄清楚如何在对象上应用方法调用非常重要 。 下面假设要调用 x.f (args)， 隐式参数 x 声明为类 C 的一个对象。 下面是调用过程的详细描述 ：（1 ) 编译器査看对象的声明类型和方法名 。（2 ) 接下来， 编译器将査看调用方法时提供的参数类型 。 如果在所有名为 f的方法中存在一个与提供的参数类型完全匹配， 就选择这个方法 。 这个

文章目录final 在Java中的作用？static关键字作用final 在Java中的作用？浅析Java中的final关键字《Java核心技术卷1》中的final实例域解释：可以将实例域定义为 final 。 构建对象时必须初始化这样的域。 也就是说 ， 必须确保在每一个构造器执行之后 ， 这个域的值被设置 ， 并且在后面的操作中，不能够再对它进行修改。例如， 可以将 Employee 类中的name 域声明为 final , 因为在对象构建之后， 这个值不会再被修改 ，即没有 setName

文章目录1: HashMap和Hashtable的区别。2:Collection 和 Collections的区别。4:说出ArrayList,Vector, LinkedList的存储性能和特性？5:你所知道的集合类都有哪些？主要方法？Java 集合框架的基础接口有哪些？Collection 和 Collections 的区别？集合框架底层数据结构总结什么是迭代器(Iterator)？Iterator 和 ListIterator 的区别是什么？快速失败（fail-fast）和安全失败（fail-safe

文章目录一、迭代器的功能2.Iterable3. Iterator 迭代器会存在并发修改异常4. Iterator 与 listIterator的区别一、迭代器的功能Iterator，它总是用同一种逻辑来遍历集合。使得客户端自身不需要来维护集合的内部结构，所有的内部状态都由Iterator来维护。客户端不用直接和集合进行打交道，而是控制Iterator向它发送向前向后的指令，就可以遍历集合。在Java中Iterator为一个接口，它只提供了迭代的基本规则。在JDK中它是这样定义的：对Collectio

-- 两个时间相差几天SELECT DATEDIFF('2020-8-3','1997-12-10') AS theday;-- 两个时间段相差秒数SELECT TIMESTAMPDIFF(SECOND,'1993-03-23 00:00:00',DATE_FORMAT(NOW(), '%Y-%m-%d %H:%i:%S'));-- 两个时间段相差分钟数SELECT TIMESTAMPDIFF(MINUTE,'1993-03-23 00:00:00',DATE_FORMAT(NOW(), '.

文章目录一、多线程相关1、java事件机制包括哪三个部分？分别介绍。2、为什么要使用线程池？3、线程池有什么作用？4、说说几种常见的线程池及使用场景。newCachedThreadPoolnewFixedThreadPoolnewWorkStealingPoolnewSingleThreadExecutornewScheduledThreadPool五种线程池的适应场景5、线程池都有哪几种工作队列？6、怎么理解无界队列和有界队列？7、线程池中的几种重要的参数及流程说明。二、网络编程相关11、你怎么理解htt