code1997-优快云博客

原创 kafka的安装和群起脚本

Kafka的安装1 集群的规划hadoop02 hadoop03 hadoop04zk zk zkkafka kafka kafka先启动zk，然后启动kafka。2 上传解压1）上传到服务器[code1997@hadoop02 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz2）复制到/opt/module目录下[code1997@hadoop02 kafka]$ mv kafka_2.11

2021-01-06 22:42:42 431 1

原创 zookeeperApi测试

API测试以idea为开发工具，创建maven工程。1 项目搭建1）创建一个maven工程2）添加依赖<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version

2021-01-05 22:57:08 291

原创 zookeeper分布式安装

分布式安装集群规划：在hadoop02，hadoop03，hadoop04分别安装。1 解压安装1）解压zookeeper[code1997@hadoop02 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module2）同步/opt/module/zookeeper内容到 hadoop03、hadoop04[code1997@hadoop02 module]$ cd /opt/module#该指定是编写的脚本，可以看之前的博客

2021-01-05 22:56:22 237

原创 4.hive常见属性及配置

Hive常见属性配置1 Hive数据仓库位置配置1）Default 数据仓库的最原始位置是在 hdfs 上的：/user/hive/warehouse 路径下。2）在仓库目录下，没有对默认的数据库 default 创建文件夹。如果某张表属于 default数据库，直接在数据仓库目录下创建一个文件夹。3）修改 default 数据仓库原始位置（将 hive-default.xml.template 如下配置信息拷贝到hive-site.xml 文件中）。<property> &lt

2021-01-03 23:21:12 260

原创 3.hive常见命令

1 HiveJDBC访问1.1 启动hiveServer2服务[code1997@hadoop02 hive]$ bin/hiveserver21.2 开启beeline[code1997@hadoop02 hive]$ bin/beeline1.3 简单使用2 Hive常见命令2.1 常见的交互操作使用bin/hive -help查看[code1997@hadoop02 hive]$ bin/hive -helpusage: hive -d,--define <key=

2021-01-03 23:20:42 177

原创 2.Hive安装

Hive安装1 hive安装地址1）Hive 官网地址：http://hive.apache.org/2）文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted3）下载地址：http://archive.apache.org/dist/hive/2 Hive安装2.1 Hive安装和配置1）将hive的包上传到/opt/software下2）解压到/opt/module下[code1997@hadoop0

2021-01-03 23:20:00 129

原创 1.hive基本概念

Hive基本概念1 什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序。1）Hive 处理的数据存储在 HDFS2）Hive 分析数据底层的默认实现是 MapReduce3）执行程序运行在 Yarn 上。因此我们可以将其看作是一个hadoop客户端。2 Hive的优缺点2.1 优点

2021-01-03 23:19:05 130

原创 12.hadoop序列化

hadoop序列化1 序列化概述1.1 什么是序列化？序列化就是将内存中的对象，转换成字节序列(或其他数据传输协议)用于存储到磁盘(持久化和网络传输)。反序列化将收到的字节序列(或其他数据传输协议)或者磁盘中的数据，转换成内存中的对象。1.2 为什么要序列化？一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。1.3 为什么不用java的

2021-01-03 13:34:37 104

原创 11.MapReduce概述

MapReduce概述1MapReduce的定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。2 MapReduce的优缺点2.1 优点1）MapReduce 易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一

2021-01-03 13:33:59 203

原创 10.HDFS的IO流操作

HDFS的IO流操作1 HDFS文件上传@Testpublic void putFileToHDFS() throws URISyntaxException, IOException, InterruptedException { //1.获取对象 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop02:9000"), conf, "cod

2021-01-03 13:33:10 460

原创 9.HDFS的API使用

HDFS 客户端1 环境准备前三项可选，我这里连接的还是之前的虚拟机上的hadoop。1）根据自己的操作系统，选择对应的编译后的hadoop jar包到非中文路径。2）配置HADOOP_HOME环境变量3）配置Path环境变量4）创建maven工程，这里使用idea工具5）导入pom依赖<dependencies> <dependency> <groupId>junit</groupId> &lt

2020-12-30 23:25:22 160

原创 7.hdfs概述

HDFS概述1 HDFS产生的背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切的需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统的一种。2 HDFS的定义 HDFS，是一个文件系统，用于存储文件，通过目录树来定位文件，其次，他是分布式的，由很多服务器联合起来实现其功能，集群中的服务有各自的角色。使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合做数据分析，并

2020-12-30 23:24:33 103

原创 5.hadoop之完全分布式运行模式

完全分布式模式1 需求分析1）准备3台客户机(关闭防火墙，静态ip，主机名称)–参照之前的文章此后hadoop01为备机，hadoo02，03，04为集群2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量6）配置集群7）单点启动8）配置ssh9）群起并测试集群2 搭建集群2.1 虚拟机准备参照之前的博客进行搭建2.2 编写集群分发脚本2.2.1 scp：安全拷贝1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。2）基本语法scp -r

2020-12-30 23:23:37 250

原创 4.hadoop之伪分布式模式

伪分布式模式1 伪分布式配置1.1 配置集群配置文件均在hadoop的安装目录的etc/hadoop下1）配置：hadoop-env.sh修改JAVA_HOME的路径export JAVA_HOME=/opt/module/jdk1.82）修改配置：etc/hadoop/core-site.xmlvim etc/hadoop/core-site.xml添加如下信息：<configuration> <property> <na

2020-12-29 22:53:49 326

原创 3.hadoop之本地模式

1 官方GREP案例 By default, Hadoop is configured to run in a non-distributed mode, as a single Java process. This is useful for debugging. The following example copies the unpacked conf directory to use as input and then finds and displays every match of th

2020-12-29 22:52:46 174 1

原创 2.hadoop运行环境搭建

Hadoop搭建虚拟机的创建和配置，jdk的配置已经完成。1 Hadoop安装1）Hadoop下载2）上传到我们的虚拟机：rz3）解压tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/4）添加Hadoop到环境变量sudo vim /etc/profile#添加的内容##HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-2.7.2export PATH=$PATH:$HADOOP_HOME

2020-12-29 22:51:28 112

原创 1.hadoop入门概述

Hadoop–入门第1章大数据概论1.1 大数据概念1.2 大数据特点（4V）1 Volume：大量2 Velocity-高速3 Variety-多样4 Value-低价值密度1.3 大数据应用场景1大数据应用场景之物流仓储2大数据应用场景之零售3大数据应用场景之旅游4大数据应用场景之商品广告推荐5大数据应用场景之保险、金融及房产6大数据应用场景人工智能1.4 大数据部门业务流程分析1.5 大数据部门组织结构（重点）第2章从Hadoop框架讨论

2020-12-29 22:50:16 146

原创 4.ArrayList线程不安全？编写代码证明

写一个ArrayList线程不安全的案例？1 线程不安全的ArrayList现象：public static void listUnsafe() { //ArrayList存在线程安全的问题 // List<String> list =new ArrayList<>(); //解决方式1：使用vector List<String> list= new CopyOnWriteArrayList<>(); list.fo

2020-11-05 19:57:20 205

原创 8.springboot-shiro整合

Shiro1 初级介绍1 shiro有什么特点？Apache Shiro 是 Java 的一个安全（权限）框架。Shiro 可以非常容易的开发出足够好的应用，其不仅可以用在JavaSE 环境，也可以用在 JavaEE 环境。Shiro 可以完成：认证、授权、加密、会话管理、与Web 集成、缓存等。下载2 功能简介Authentication：身份认证/登录，验证用户是不是拥有相应的身份；Authorization：授权，即权限验证，验证某个已认证的用户是否拥有某个权限；即判断用户

2020-11-04 15:55:30 176

原创 6.springboot-热部署

热部署热部署，就是对正在运行中的软件进行了修改却不需要重启应用，即可访问修改之后的资源。可以极大的提高我们的开发效率，但是实际上线之后，不允许使用热部署。1 使用流程1 添加依赖和插件<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>

2020-11-04 15:51:31 89

原创 4.springboot-异常处理

springboot-异常处理1 创建一个响应类用于封装数据。public class Msg<T> implements Serializable { private String status; private String message; private T data; public String getStatus() { return status; } public void setStatus(Stri

2020-11-04 15:50:18 109

原创 3.springboot-yml配置

springboot-配置文件1 springboot配置文件1.1 springboot的配置文件SpringBoot使用一个全局的配置文件，配置文件名是固定的。application.propertiesapplication.yml作用：修改SpringBoot自动配置的默认值。SpringBoot在底层都给我们自动配置好了，如果我们有需求，我们就需要修改配置文件，使用该文件的配置来实现对默认的配置的修改。2 YML文件1 什么是yml？YAML（YAML Ain’t M

2020-11-04 15:49:29 541

原创 2.springboot-过滤器和拦截器

filter和interceptor 我们先了解一下过滤器和拦截器。这两者在功能方面很类似，但是在具体技术实现方面，差距还是比较大的。在分析两者的区别之前，我们先理解一下AOP的概念，AOP不是一种具体的技术，而是一种编程思想。在面向对象编程的过程中，我们很容易通过继承、多态来解决纵向扩展。但是对于横向的功能，比如，在所有的service方法中开启事务，或者统一记录日志等功能，面向对象的是无法解决的。所以AOP——面向切面编程其实是面向对象编程思想的一个补充。而我们今天讲的过滤器和拦截器都属于面向切面

2020-11-04 15:48:51 190

原创 1.springboot使用入门

Springboot1 SpringBoot入门1.1 Springboot核心功能1）独立运行的Spring项目 SpringBoot允许以jar包的形式独立的运行，运行一个SpringBoot项目只需要通过java -jar xxx.jar的方式来运行。2）内嵌servlet容器 SpringBoot可选择内嵌Tomcat，jetty等，这样我们无需以war包形式部署项目。3）提供Start简化Maven配置 Spring提供一系列的Start(场景启动器)来简化maven的依赖加

2020-11-04 15:32:16 212

原创 14.hibernate的入门

hibernate1 概念1.1 分层好处1.2 模型模型：描述现实实物，面向对象的思想。域模型：java中的实体类数据模型：数据库中的表数据模型之间的关系： 1对n n对n 1对1域模型之间的关系：关联依赖聚集一般化public class Person extends Animal{//继承：：一般化关系 Father father; //每个person都有一个自己的father: 但两者可以是独立的个体：关联关系1.3 jdbc缺点1.4

2020-11-04 12:40:26 261

原创 3.CAS引起的ABA问题以及原子引用

ABA以及原子更新引用1 什么是ABA？一句话：狸猫换太子。详情：假如存在两个线程t1,t2，他们都将物理内存中的数据A复制到自己的工作内存中，t1的任务执行时间比较长，t2的执行时间短，t2将A改为B，然后又改回A，此时走人，t1回来之后发现符合CAS规则，然后将其修改为新的值==>尽管线程t1的cas操作成功，但是不代表这个过程就是没有问题的。 cas认为头和尾一致的时候，资源就没有被修改，过程是否修改是未知的，如果过程也不能被修改，就会出现问题。解决方式：原子引用+时间戳。

2020-11-04 10:11:00 155

原创 2.cas的简单了解

CAS你知道吗1 什么是CAS？ CompareAndSweep，比较并交换。规则：如果期望值和主物理内存的值一致，则修改成功；不一致则修改失败。2 请代码演示CASCASDemo：借助于原子类AtomicIntegerpackage com.at.cas;import java.util.concurrent.atomic.AtomicInteger; /** * @author : code1997 * @date :2020/9/9 22:52 * */public

2020-11-04 09:51:05 125

原创 4.阿里云短信验证

阿里云短信验证1 导入pom依赖<dependency> <groupId>com.aliyun</groupId> <artifactId>aliyun-java-sdk-core</artifactId> <version>4.1.0</version></dependency><dependency> <groupId>com.aliyun&l

2020-11-03 17:18:06 736 1

原创 3.邮箱验证-jmail

邮箱验证1 创建163邮箱账号，并登录官方网站，获取POP3/SMTP/IMAP的授权码操作如下：获取授权码2 导入jar包：mail-1.4.jar3 写java文件import javax.mail.*;import javax.mail.internet.InternetAddress;import javax.mail.internet.MimeMessage;import java.util.Date;import java.util.Properties;/**

2020-11-03 17:14:01 627

原创 2.excel导出-poi使用

POI1 POI概述1 什么是poi Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。2 包结构说明HSSF提供读写Microsoft Excel XLS格式档案的功能。XSSF提供读写Microsoft Excel OOXML XLSX格式档案的功能。HWPF提供读写Microsoft Word DOC格式档案的功能。HSLF提供读写Microsoft PowerPoint格式档案的功能

2020-11-03 17:08:34 176

原创 1.简单的验证码-java

验证码1 手写验证码import java.awt.*;import java.awt.image.BufferedImage;import java.io.FileOutputStream;import java.io.IOException;/** * @author : code1997 * @date :2020-09-2020/9/11 12:14 */public class Demo01 { public static void main(String[] arg

2020-11-03 17:04:33 188

原创 2.工厂设计模式-java版

2 工厂模式1 简单工厂模式1 具体的需求：披萨的订购：传统的方式实现1）思路的分析：2）编写订购的各种需要的代码① pizza类及其子类的编写package factory.simplefactory.pizzastore.pizza;public abstract class Pizza { protected String name; //准备原材料，不同得pizza有不同的原材料 public abstract void prepare(); public void b

2020-10-30 17:15:18 188

原创 1.单例模式-java版

1 单例模式1 简单介绍类的单例设计模式，就是采取一定的方法保证在整个软件系统中，只能存在一个对象实例，并且该类只提供一个取得其对象实例的方法（静态方法）。比如Hibernate的SessionFactory，充当数据存储源的代理，并负责创建Session对象，并不是轻量级的，一般情况下一个项目只需一个SessionFactory就够了，因而可以使用到单例模式。2 单例模式的分类存在八种：1）饿汉式（静态常量）实现步骤：构造器私有化（防止new）类内部创建对象向外暴露一个静态的工共

2020-10-30 16:48:04 100 1

原创 5.适配器模式-java版本

适配器模式适配器模式将某个类的接口转换为客户端期望的另一个接口表示，目的是消除由于接口不匹配所造成类的兼容性问题，适配器模式属于结构型模式。主要分为三类：类的适配器模式，对象的适配器模式，接口的适配器模式。生活着的例子：多功能转换插头。1 工作原理适配器模式：将一个类的接口转换成另一种接口，让原本接口不兼容的类可以兼容。从用户的角度来看，是看不到被适配者，是解耦的。用户调用适配器转化出来的目标接口方法，适配器再调用被适配者的相关接口的方法。用户收到反馈结果，感觉只是和目标接口交互。1

2020-10-30 16:32:14 134

原创 13.shiro之ssm版本

Shiro1 初布介绍1 shiro有什么特点？Apache Shiro 是 Java 的一个安全（权限）框架。Shiro 可以非常容易的开发出足够好的应用，其不仅可以用在JavaSE 环境，也可以用在 JavaEE 环境。Shiro 可以完成：认证、授权、加密、会话管理、与Web 集成、缓存等。下载2 功能简介Authentication：身份认证/登录，验证用户是不是拥有相应的身份；Authorization：授权，即权限验证，验证某个已认证的用户是否拥有某个权限；即判断用户

2020-10-30 12:15:23 359 1

翻译 12.PageHelper-来自官网

分页插件–pageHelper官网：https://pagehelper.github.io/使用方法1. 引入分页插件引入分页插件有下面2种方式，推荐使用 Maven 方式。1). 引入 Jar 包你可以从下面的地址中下载最新版本的 jar 包https://oss.sonatype.org/content/repositories/releases/com/github/pagehelper/pagehelper/http://repo1.maven.org/maven2/com/

2020-10-30 12:11:06 5164 2

原创 11.spring单元测试

Spring中单元测试1 传统中的单元测试存在的问题存在的问题：会导致进入死循环，当我们启动单元测试的时候会实例化这个类，然后回加载ioc容器，ioc容器发现这个组件会进行实例化，然后就进入到了死循环之中。2 Spring中的单元测试第一步：导入Spring的test包<dependency> <groupId>org.springframework</groupId> <artifactId>spring-test</a

2020-10-30 10:42:17 143

原创 10.md5加密

MD5加密1 什么是数据加密和解密数据加密：对原来为明文的文件或数据按照某种加密算法进行处理，使其成为一段不可读的代码，通常称之为"密文’’，以此来保护原始数据。数据解密：通过解密方法或者密匙，经过解密将密文还原成可读的明文文档。2 什么是md5加密？ md5加密是我们常用的一种加密算法，可以对明文进行处理产生一个128位（16字节）的散列值，通常用在密码存储和文件的完整性校验上。3 MD5的案例package com.zhiyou100.util;import org.sprin

2020-10-30 10:38:36 190

原创 9.ssm整合-基于idea的maven项目

ssm整合1 环境搭建1.1 创建项目这里使用的是idea开发工具，创建maven项目。1.2 添加pom依赖<dependencies>   <dependency> <groupId>org.mybatis</groupId> <artif

2020-10-30 10:36:05 90

原创 8.ssm之springmvc

SpringMVC1 SpringMVC初涉1.1 为什么要使用SpringMVC 背景：很多应用程序的问题在于处理业务数据的对象和显示业务数据的视图之间存在紧密耦合，通常，更新业务对象的命令都是从视图本身发起的，使视图对任何业务对象更改都有高度敏感性。而且，当多个视图依赖于同一个业务对象时是没有灵活性的。SpringMVC是一种基于Java，实现了Web MVC设计模式，请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将Web层进行职责解耦。基于请求驱动指的就是使用请求-响应模型，

2020-10-30 10:27:25 353 1

空空如也

空空如也