- 博客(49)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 史上最简单的 SpringBoot+BootStrap+JPA+Page 实现前后端分离的分页查询
一、前端界面调整前端处理步骤： 第一步：引入对应js和css静态资源<!-- 引入css样式 --><link rel="stylesheet" href="/css/bootstrap-table.min.css"><link href="/css/bootstrap.css" rel="stylesheet" media="screen">...
2019-05-10 14:19:19
5088
4
原创 IntelliJ IDEA 快捷键及模板Templates设置
一、设置快捷键(Keymap)1. 设置快捷为 Eclipse 的快捷键2.通过快捷键功能修改快捷键设置3.通过指定快捷键，查看或修改其功能4.导入已有的设置点击 0K 之后，重启 IDEA 即可。说明：如果之前习惯使用Eclipse快捷键的小伙伴，使用IDEA的快捷键肯定是很不习惯的，这里分享一个IDEA中跟Eclipse快捷键相同的jar包，...
2019-04-19 15:14:23
7033
1
原创 Phoenix组件安装及使用DBeaver工具进行远程连接
一、Phoenix简介What is this newPhoenixthing I’ve been hearing about?Phoenix is an open source SQL skin for HBase. You use the standard JDBC APIs instead of the regular HBase client APIs to create tables, insert data, and query your HBase data.因为HBase分..
2021-03-30 13:44:05
2218
原创 一、kafka安装部署及常用命令行操作
Kafka 概述 Kafka最初是是由 LinkedIn 开发的一个基于发布订阅的分布式的消息系统，由 Scala 编写，并于 2011 年初开源，Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。Kafka安装安装前置环境 1、安装 JDK 1.8 2、安装 zookeeper 集群（也可以使用自带 ZooKeeper）开始安装 1.下载kafka安装包：点击链接去kafka官网下载kafka安装包2.集群..
2021-03-12 17:10:21
341
原创 解决redis：java.util.NoSuchElementException: Unable to validate object报错
1、前言 今天环境需要redis，linux系统安装完redis单节点后，在虚拟机上运行及客户端ping都可以pong，但是在idea中使用jedis API操作连接redis时，报错 java.util.NoSuchElementException: Unable to validate object 网上几乎统一的答案都是将redis.conf配置文件中的dbfilename dump.rdb 改为：dbfilename temp.rdb，dir ./ 改...
2021-03-01 18:03:52
7444
原创 什么是数据仓库？数据仓库的特点与架构演进
1.为什么需要数据仓库？在没有数仓之前我们做数据分析到报表展示，依赖的都是从业务数据库中取数据来做分析。业务数据库主要是为业务操作服务，虽然可以用于分析，但需要做很多额外的调整，会存在以下几个问题：① 表结构关联关系错综复杂业务数据库通常是根据业务操作需求进行设计的，遵循3NF范式，尽可能减少数据冗余节省存储空间。这就造成表与表之间关系错综复杂。在分析业务状况时，存储业务数据的表与存储待分析的角度表，很可能不会存在直接关联，而是需要通过多表关联来达到需求分析，很明显提高了需求分析的SQL复杂度及
2020-05-28 10:24:13
1504
原创 java中的单例模式、多线程交替打印、实现死锁及数组蓄水问题
1.饿汉式线程安全的单例模式//饿汉式线程安全——单例模式public class Singleton { //定义本类的一个私有实例对象 private static volatile Singleton single = null; //私有化构造 private Singleton() {} //因为不能创建对象，对外提供静态方法 ...
2019-12-05 22:37:00
370
原创 java和scala版本的冒泡排序、快速排序、归并排序、选择排序、插入排序
1.冒泡排序 ① java版本的冒泡排序import java.util.Arrays;//冒泡排序public class BubbleSort { /** * 冒泡排序 * @param arr 要排序的数组 */ public static void bubbleSort(int[] arr) { int tmp;/...
2019-12-05 22:27:14
360
原创 判断手机号或密码的校验工具类 VerifyUtils
/** * 校验是不是合法的手机号 * * @param phone 待校验的手机号字符串 * @return */ public static boolean isPhoneNum(String phone) { String regex = "^((13[0-9])|(14[5,7,9])|(15([0-3]...
2019-12-05 21:47:40
302
原创 MD5加密解密算法 MD5Utils
import java.security.MessageDigest;public class MD5Utils { /** * MD5加码 生成32位md5码 */ public static String string2MD5(String inStr) { MessageDigest md5 = null; ...
2019-12-05 21:27:36
3092
原创 日期时间工具类 DateUtils
import org.springframework.util.StringUtils;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.*;public class DateUtil { public s...
2019-12-05 21:21:24
595
原创 JDBC连接MySQL数据库工具类
配置文件在项目的 resources 资源文件夹中，添加一个 MySQLJDBC.properties文件，文件内容示例如下：driver =com.mysql.jdbc.Driverjdbcurl = jdbc:mysql://192.168.100.61:3306/orclstaff?autoReconnect=true&useUnicode=true&charac...
2019-12-05 20:17:00
340
原创 IntelliJ IDEA的下载、安装、解锁及启动参数优化
一、IntelliJ IDEA 介绍IDEA(https://www.jetbrains.com/idea/)是 JetBrains 公司的产品，全称 IntelliJ IDEA，是 Java 语言的集成开发环境，IDEA 在业界被公认为是最好的 java 开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE 支持、Ant、JUnit、CVS 整合、代码审查、创新的 GUI 设计等方...
2019-12-05 09:41:39
1765
原创 华为大数据开发机试题：使用java语言，从10个数中随机抽取3个数，保证3个数带入公式x²+xy-y²+z中的值最小
前言这道题是华为大数据开发工程师的机试面试题，规定解答时长为一个半小时，首先需要写出本题的代码，不能翻阅资料和API，在华为机试的系统中会有摄像头视频监控，并且开发工具中没有任何的代码提示，包括java类的包也是需要自己手动导入。题意本题的意思是：使用java语言，任意从键盘输入10个随机数字，数字范围为[-512,512]，然后从这10个数中随机抽取三个数，将这三个数x，y，z带入公...
2019-11-29 18:55:56
4301
2
原创 MySQL 基于 keepalived 实现HA 主从搭建，并实现故障邮件通知
前言环境准备： 虚拟机系统：centos 6.7 MySQL主节点(master)：192.168.120.110 hadoop01 MySQL从节点(backup)：192.168.120.111 hadoop02 MySQL版本：5.6.24关于MySQL的安装，可以参考Centos6.7 系统安装MySQL进行主从节点MySQL的安装，安装完成之后...
2019-07-19 16:51:22
504
原创 Centos6.7 系统安装MySQL
一、使用 Linux RPM 方式安装 MySQL 说明：使用 Linux RPM 方式安装 MySQL必须使用root用户！ 1.1 查看之前是否安装MySQL [hadoop@hadoop116 ~]$ rpm -qa | grep mysql 1.2 如果发现之前有安装过或者系统自带的MySQL版本，进行卸载 [hado...
2019-07-18 13:44:21
343
原创 Apache Hive 简介
一、Hive 简介 1.1、什么是 Hive？Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 H...
2019-07-17 15:25:30
1733
原创 Apache Hive的安装
一、Hive 环境搭建1.1内嵌 Derby 版本Hive安装 ① 上传安装包 apache-hive-2.3.2-bin.tar.gz ② 解压安装包 tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /home/hadoop/apps/ ③ 进入到 bin 目录，运行 hive 脚本： [hadoop@...
2019-07-17 14:57:29
300
原创 Apache Hive集成TEZ计算引擎
前言本博客讲述的是将Apache Hive默认的执行引擎MR换成TEZ计算引擎，在进行Hive集成TEZ前，请保证集群已经成功安装了Hive，安装Hive可以参考本人的博客：Apache Hive的安装一、Hive运行引擎Tez简介Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看TEZ官网给出的执行对比图：用Hive直接编写MR程序，假设有四个有依赖关系的MR...
2019-07-17 11:46:08
930
转载 Spark作业性能调优——Shuffle原理及参数调优
一、调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优...
2019-06-25 17:54:09
333
原创 Spark作业性能调优——资源参数调优
一、分配更多资源性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升是成正比的。写完了一个复杂的Spark作业之后，进行性能调优的时候，首先第一步，就是要调节最优的资源配置，在这个基础之上，如果说你的Spark作业，能够分配的资源达到了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限，那么才是考虑去做后面的这些性能调...
2019-06-25 17:30:15
598
1
原创 Spark作业性能调优——JVM参数调优
前言Spark作业的JVM调优只是针对我们写的代码层面的优化，JVM相关的参数，通常情况下，如果你的硬件配置和基础的JVM的配置都ok的话，JVM通常不会造成太严重的性能问题，反而更多的是，在troubleshooting（故障处理）中，JVM占了很重要的地位，JVM造成线上的Spark作业的运行报错，甚至失败（比如OOM）。为什么需要进行Spark作业的JVM优化？Spark运行过...
2019-06-25 15:42:25
614
原创 深入理解JVM
一、JVM 的组织结构注意：方法区和堆是所有线程共享的内存区域，而 Java 栈、本地方法栈和程序计数器是运行时线程私有的内存区域。下面来看看各内存区域的作用： ① Java 堆（Heap）对于大多数应用来说，Java 堆（Java Heap）是 Java 虚拟机所管理的内存中最大的一块。Java 堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放...
2019-06-25 11:34:13
350
原创 Spark共享变量之广播变量和自定义累加器的介绍及使用
Shared Variables（共享变量）在 Spark 程序中，当一个传递给 Spark 操作 (例如 map 和 reduce) 的函数在远程节点上面运行时，Spark 实际上操作的是这个函数所用变量的一个独立副本。这些在Driver端声明的变量会被复制到每个Executor进程所在的执行机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，...
2019-06-18 15:25:56
1220
原创 Centos6.7挂载镜像、修改Centos默认yum源为阿里云及配置本地yum源
一、挂载镜像 挂载是一个非常重要的功能，使用非常频繁。它指将一个设备（通常是存储设备， 可以挂载光盘、硬盘、磁带、光盘镜像文件等）挂接到一个已存在的目录上（这个目录可以不为空，但挂载后这个目录下以前的内容将不可用）。 需要理解的是， Linux 操作系统将所有的设备都看作文件，它将整个计算机的资源都整合成一个大的文件目录。我们要访问存储设备中的文件，必须将文件所在的分区挂载到一个已存在的...
2019-06-04 13:25:28
4295
原创 Scala语言学习笔记——泛型、上下界、视图界定、上下文界定、协变逆变不变、闭包、柯里化
1.Scala泛型应用案例1/** * @author huleikai * @create 2019-05-27 11:23 */object TestFanXing { def main(args: Array[String]): Unit = { val strMes = new StrMessage[String]("10") println(s...
2019-05-28 14:18:01
374
原创 Scala语言学习笔记——模式匹配
模式匹配基本介绍 Scala中的模式匹配类似于Java中的switch语法，但是更加强大。Scala模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，当需要匹配时，会从第一个case分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不成功，继续执行下一个分支进行判断。如果所有case都不匹配，那么会执行case _ 分支，类似于Java中default语句...
2019-05-27 10:07:35
331
原创 Scala语言学习笔记——集合的高阶函数
集合的高阶函数1.高阶函数 def map[B](f: A => B):B2.高阶函数flatmap flatmap：flat即压扁，压平，扁平化，效果就是将集合中的每个元素的子元素映射到某个函数并返回新的集合。3.高阶函数 filter filter：将符合要求的数据(筛选)放置到新的集合中。4.高阶函数reduceLeft和re...
2019-05-24 14:11:12
454
原创 Scala语言学习笔记——数据结构集合
Scala 集合概述①Scala同时支持不可变集合和可变集合，不可变集合可以安全的并发访问② Scala集合中两个主要的包：可变集合： scala.collection.mutable 不可变集合：scala.collection.immutable③Scala默认采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变(mutable)和不可变(immuta...
2019-05-23 11:00:18
503
原创 Scala语言学习笔记——特质、嵌套类、类型投影及隐式转换
1.Scala 特质 从面向对象来看，接口并不属于面向对象的范畴，而Scala是纯面向对象的语言，所以在Scala中没有接口。Scala语言中，采用特质trait（特征）来代替接口的概念，也就是说，多个类具有相同的特征时，就可以将这个特质独立出来，采用关键字trait声明。 理解trait 等价于(interface + abstract class)1.1trait 的声明语法...
2019-05-22 11:37:26
483
原创 Scala语言学习笔记——面向对象编程
1.Scala代码的反编译/** * @author huleikai * @create 2019-05-17 18:41 */object TestScala { def main(args: Array[String]): Unit = { println("Hello Scala") }} 上面的Scala中的伴生对象的代码，我们通过反编译来看看...
2019-05-21 09:57:30
340
原创 Scala语言学习笔记——方法、函数及异常
1.Scala方法及函数区别① Scala 有方法与函数，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法②Scala 中的方法跟 Java 的类似，方法是组成类的一部分③ Scala 中的函数则是一个完整的对象，Scala 中的函数其实就是继承了 Trait 的类的对象④Scala 中使用 ...
2019-05-17 18:25:22
508
原创 Scala语言学习笔记——语言背景及基础语法
1.Scala 概述① 什么是Scala ? Scala 是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行于 Java 平台 （Java 虚拟机），并兼容现有的 Java 程序。Scala (Scala Language 的简称) 语言是一种能够运行于 JVM 和.Net 平台之上的通用编程语言，既可用于大规模应用程序开发，也可用于...
2019-05-17 12:01:18
700
原创 IntelliJ IDEA 配置 Maven及其他设置
一、配置 Maven 1. Maven 的介绍 Maven 是 Apache 提供的一款自动化构建工具，用于自动化构建和依赖管理。 开发团队基本不用花多少时间就能自动完成工程的基础构建配置，因为 Maven使用了一个标准的目录结构和一个默认的构建生命周期。在如下环节中，Maven 使得开发者工作变得更简单。构建环节： 清理：表示在编译代码前将之前生成的...
2019-04-19 18:30:36
977
原创 IntelliJ IDEA 版本控制(Version Control)及其断点调试
一、版本控制 Version Control 不管是个人开发还是团队开发，版本控制都会被使用，而 IDEA 也很好的集成了版本控制的相关结构。 很多人认为 IntelliJ IDEA 自带了 SVN 或是 Git 等版本控制工具，认为只要安装了 IntelliJ IDEA 就可以完全使用版本控制应有的功能。这完全是一种错误的解读，IntelliJ IDEA 是自带...
2019-04-19 17:53:25
5139
原创 IntelliJ IDEA 创建 Java Web Project 或 Module及关联数据库
一、创建 Java Web Project 或 Module 1. 创建的静态 Java Web 2. 创建动态的 Java Web 2.1 创建动态 Web 的 module 工程栏空白处 new – module: 这里一定要勾选 Web Application，才能创建一个 Web 工程。 ...
2019-04-19 16:56:37
627
原创 IntelliJ IDEA开发常用界面配置
进入设置界面：目录结构如下：1.Appearance & Behavior 1.1 设置主题 这里默认提供了三套主题：IntelliJ，Darcula，Windows，这里可以根据自己的喜好进行选择。 1.2 设置窗体及菜单的字体及字体大小 (可忽略) 1.3 补充:设置编辑区主题 (可忽略) ...
2019-04-19 14:03:53
6978
1
原创 IntelliJ IDEA 项目及Module的创建及使用maven插件进行jar打包
一、IDEA项目及Module创建1. 创建项目Create New Project:创建一个新的工程 Import Project:导入一个现有的工程 Open:打开一个已有工程。比如：可以打开 Eclipse 项目 Check out from Version Control:可以通过服务器上的项目地址 check out Github 上面项目或其他 Git 托管服...
2019-04-19 12:34:37
2003
原创 （四）Springmvc学习笔记——关于异常处理、自定义拦截器、表单的校验（Hibernate-validate）及国际化、SpringMVC运行原理
一、异常处理① 处理局部异常（Controller内部）@ExceptionHandlerpublic ModelAndView exceptionHandler(Exception ex){ ModelAndView mv = new ModelAndView("error"); mv.addObject("exception", ex); System.ou...
2019-04-15 12:58:42
559
原创 （三）Springmvc学习笔记——关于ViewResolver视图解析器及文件上传
ViewResolver视图解析器简单说就是将逻辑视图转化为物理视图。Handler请求处理方法执行完成后，最终返回一个 ModelAndView 对象。对于那些返回String，View 或 ModelMap 等类型的处理方法，Spring MVC 也会在内部将它们装配成一个 ModelAndView 对象，它包含了逻辑名和模型对象的视图。Spring MVC借助视图解析器（ViewResolv...
2019-04-15 10:44:25
370
navicat_mysql_cs_x64.zip
2019-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人