doom156-优快云博客

原创 Elasticsearch安装部署

一、Elasticsearch配置流程 1.上传并解压Elasticsearch安装包 tar -xzvf elasticsearch-6.2.4.tar.gz 2.在elasticsearch-6.2.4文件夹下新建data和logs文件夹 mkdir data mkdir logs 3.修改elasticsearch-6.2.4/config文件夹下的配置文件elasticsearch.yml（修改后每行代码前面不能有空格且：后有空格） vim elasticsearch.yml # ------

2020-10-14 19:12:33 237

原创 storm安装部署

一、前置环境准备： 1.准备三台虚拟机 2.配置ip并关闭防火墙 3.配置主机名和ip映射 4.ssh免密登录 5.安装jdk和zookeeper 二、安装流程： 1.上传并解压storm安装包 tar -xzvf apache-storm-1.1.0.tar.gz 2.进入storm文件夹下创建data目录 mkdir data 3.进入storm/conf文件夹下编辑storm.env.sh vim storm-env.sh export JAVA_HOME=/opt/module/jdk expo

2020-10-14 18:56:18 596

原创 flume安装部署

一、flume安装 1.上传安装包并解压缩（安装包可在官网下载） 2.配置conf目录下的flume-env.sh.template： cp flume-env.sh.template flume-env.sh vim flume-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 flume安装完成。二、Telnet安装 1.分别安装三个rpm包（可用yarn下载）： rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpm rp

2020-10-12 18:46:17 289

原创 Sqoop环境配置

1.上传并解压安装包 tar -xzvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz 2.修改配置文件 sqoop-1.4.7/conf： cp sqoop-env-template.sh sqoop-env.sh cp sqoop-site-template.xml sqoop-site.xml vim sqoop-env.sh export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2 export HADOOP_MAPRED_

2020-09-29 19:06:17 351

原创 Hbase环境部署

一.前置条件： zookeeper和hadoop正常部署，并且启动zookeeper、hdfs、yarn后可以进行环境配置二.解压Hbase tar -xzvf hbase-1.3.1-bin.tar.gz 三.配置Hbase 1.hbase-env.sh文件配置 export JAVA_HOME=/opt/module/jdk1.8.0_144 export HBASE_MANAGES_ZK=false export HBASE_CLASSPATH=/opt/module/hbase/conf ex

2020-09-22 22:17:39 133

原创 HIVE表的优化

一.大表小表join 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。 ①：建大表、小表和join后表 create table bigtable(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row for

2020-09-21 18:30:36 165

原创 HIVE安装说明

一.安装 1.解压代码： tar -xzvf apache-hive-1.2.1-bin.tar.gz 2.添加软连接 ln -s apache-hive-1.2.1-bin hive 3.修改hive-env.sh.template文件名为hive-env.sh mv hive-env.sh.template hive-env.sh（conf） 4.配置hive-env.sh vim hive-env.sh（conf） export HADOOP_HOME=/opt/module/hadoop-2

2020-09-16 18:44:53 106

原创 zookeeper集群架构

一.集群规划：在hosts节点上部署zookeeper： vim /etc/hosts 192.168.2.101 node1 192.168.2.102 node2 192.168.2.103 node3 二.在node1节点上安装zookeeper并配置环境 1.在安装根目录下新建zkdata文件夹 mkdir zkdata 2.重命名zookeeper-3.4.10/conf目录下zoo_sample.cfg为zoo.cfg mv zoo_sample.cfg zoo.cfg 3.配置

2020-09-15 18:54:00 232

原创 hadoop编译源码

1.确保网络正常 2.安装jar包：依次安装下列jar包，确保安装成功。通过网络使用yum安装glibc-headers gcc-c++ make cmake openssl-devel ncurses-devel svn gcc* autoconf automake libtool cmake（一行） 3.解压hadoop并编译 ①解压hadoop后进入src文件夹 ②输入mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/

2020-09-08 19:45:27 528

原创 linux快捷键和常用命令

快捷键： ①Ctrl+c：停止进程运行 ②Ctrl+l：清理屏幕代码（将旧代码移到最上面） ③tab：补全文件名 ④Ctrl+alt切换Linux和Windows 常用命令 ①pwd：显示当前位置 ②mkdir：创建新目录 ③rm：删除目录 ④cd：切换目录 ⑤cp：复制文件 ⑥mv：移动或重命名文件 ⑦cat：查看文件内容 ⑧useradd:添加新用户 ⑨passwd：设置用户密码 ⑩userdel：删除用户 ...

2020-09-06 17:07:27 106

原创 Linux学习day4

1.本地yum仓库配置 ①挂载centos镜像到/mnt/cdrom目录 ②安装httpd（yum install -y httpd）并启动httpd服务（service httpd start） ③配置yum源到httpd中 ④备份本机yum源并进行配置将源指向自己` [root@node1 /]# cd /etc/yum.repos.d/ [root@node1 yum.repos.d]# cp CentOS-Base.repo CentOS-Base.repo.bak [root@node1 yum.

2020-09-03 18:04:34 104

原创 linux学习day3

1.Linux下Tomcat安装 ①使用xftp上传Tomcat安装包 ②解压缩（tar -xzvf tomcat-2.8.2.tar.gz -C /opt/module/） ③找到confr文件夹中的server.xml文件复制备份并进行配置 ④修改端口配置完成 2.Linux下nginx安装 ①将nginx导入系统。 ②将四个压缩包解压缩 ③在解压后的文件目录下找到configure/conf文件运行，确定环境是否适合安装。 ④输入make && make install即可进行

2020-09-02 22:37:22 109

原创 java登录页面

①超链接中添加class="mini-button"可做为超链接按钮 ② 账号/密码输入错误提示 function onPwdValidation(e) { if (e.isValid) { if (e.value.length < 5) { e.errorText = "密码不能少于5个字符"; e.isValid = false;

2020-08-28 18:40:30 179

原创 java项目（复习）day1

mybatis自动生成文件 ①需要数据库连接jar包和generator插件 ②在任意盘符下新建目录（bat） ③将两个jar包放入新建目录（bat）中并在该目录下新建src目录（用于存放生成的文件） ④在目录（bat）下新建generatorConfig.xml文件，输入以下内容 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD

2020-08-27 18:17:48 126

原创 javaEE学习day3

1.springMVC ①MVC处理流程： ②MVC优点： *多视图共享模型，提高了代码的可重用性。 *耦合度较低。 *控制器提高了应用程序的灵活性和可配置性。完美的系统架构 = 松耦合+高重用性+高扩展性 ③springMVC框架： 2.springMVC拦截器 ①拦截器（Interceptor）：依赖于web框架，由于拦截器是基于web框架的调用，因此可以使用Spring的依赖注入进行一些业务操作，同时一个拦截器实例在一个controller生命周期之内可以多次调用。但是缺点是只能对contro

2020-08-23 15:26:53 169

原创 javaEE学习day2

** 1.面向切面编程AOP ** ①AOP原理： * 将复杂的需求分解出不同方面，将散布在系统中的公共功能集中解决。 * 采用代理机制组装起来运行，在不改变原程序的基础上对代码段进行增强处理，增加新的功能。 ②AOP是一种思想，并非具体的技术，通过java动态代理机制就能很容易的实现AOP思想。 ③横切关注点的特点就是：他们经常发生在核心关注点的多处，而各处基本相似，比如权限认证、日志、事务处理。AOP的作用在于分离系统中的各种关注点，将核心关注点和横切关注点分离开来。 2.AOP相关术语 ①增强：用于

2020-08-18 16:23:50 158

原创 javaEE学习day1

1.MVC： ①MVC优点： *代码耦合度较低 *代码可复用 *对开发者水平要求低 ②MVC模型：首先用户的请求会到达 Servlet，然后根据请求调用相应的 Java Bean，并把所有的显示结果交给 JSP 去完成，这样的模式我们就称为 MVC 模式。 ③：MVC原理图 2.spring ①结构图：核心框架由Core、Context和Beans组成，bean是其中最重要的核心。 ②：spring依赖注入机制，所有注入关系在 Ico中存放和管理。 ③spring优点： *基于Spring开发的应用

2020-08-17 18:31:17 178

原创 mysql驱动使用教程

1.获得mysql驱动 2.eclipse——>file——>new——>other 输入java找到javaproject点击next 3.选择使用的jdk版本 4.创建文件夹lib，将mysql驱动放入文件夹 5.右键点击驱动选择build path，点击add to build path 6.ok ...

2020-08-16 15:53:52 607

原创 javaweb学习day6

1.图片滚动：网上可以搜索到大量不同格式的滚动效果。 html： css： 2.bootstrap: 网址：https://www.bootcss.com/ 好用的web开发框架，下载解压后添加进eclipse即可使用。 ** 3.销毁session： ** ①直接销毁：session.invalidate(); ②清除session数据：session.removeAttribute(“username”); 4.更改网页图标：像是这样的网页图标更改：打开Tomcat文件夹下web.

2020-08-12 18:43:26 135

原创 javaweb学习day4

1.HTTP： ①状态码： 200：成功 404：丢失或访问权限不够 302：重定向 500：后台异常 ②：http在一次响应后会关闭连接，再次请求时会打开新的连接。 2.Cookie和Session ①：cookie将数据存在本地，session将数据存在服务器上。 ②：不同的浏览器访问同一个服务器，服务器也会根据浏览器的不同，返回不同的Cookie。 ③：回话级cookie会在浏览器关闭时释放。持久化级cookie会一直保存在本地，到达指定时间时释放。 ④：只有在服务器端调用request.ge.

2020-08-10 18:54:08 228

原创 javaweb学习day2

1.tomcat安装 1.下载压缩包 2.解压缩 3.点击bin目录下的startup。bat启动（启动成功） 4.打开网页输入localhost：8080或127.0.0.1:8080启动网页 2.xml 1.文档构成： 2.转义字符：

2020-08-06 18:50:04 182 1

原创 java web 学习 day1

1.超链接 <title>网页名</title> </head> <body> <a href="pages/target.html">网页内容</a> </body> 2.插入图片 <body> <img alt="加载图片失败" src="img/a.jpg"> </body> 3.列表：无序列表使用有序列表使用使用包裹数据 4.CSS常用样式字.

2020-08-05 17:31:07 169

原创重温经典——java学习day6

1.接口：使用接口可以解决抽象类中一个类只能使用一次继承关系的问题。注意：在定义接口的时候，接口中的所有方法和常量自动定义为public。接口中定义的变量默认是public static final 型，且必须赋初值。 2.IO流与文件读写 1.字节流在操作时不需要使用缓冲区，字符流则需要缓冲区。 3.字符串使用new开辟新的内存空间 String str1 = “Hello”; String str2 = new String(“Hello”); String str3 = s.

2020-08-04 17:59:11 1007

原创重温经典——java学习day5

1.抽象类：由于部分类没有实例对象，所以需要使用引用指向它的实例类。抽象类需要注意以下几点： abstract放在class前，指明该类是抽象类 abstract放在方法声明中，则该方法是抽象方法，抽象方法没有方法体 一个抽象类可以含有多个抽象方法，也可以含有已实现的方法 抽象方法必须在子类中被实现，除非子类是抽象类 抽象类不能实例化，但可以指向一个实现它的子类对象； abstract不能与final同时修饰一个类； abstract不能和static、private、final或na.

2020-08-03 16:48:57 130

原创重温经典——java学习day4

分层开发：分层开发是一种化大为小，分而治之的软件开发方法。 *** 分层的特点： 每一层都有自己的职责。 上一层不用关心下一层的实现细节，上一层通过下一层提供的对外接口来使用其功能。 上一层调用下一层的功能，下一层不能调用上一层功能。分层开发的好处： 各层专注于自己功能的实现，便于提高质量。 便于分工协作，提高开发效率。 便于代码复用。 便于程序扩展。 ...

2020-07-31 16:22:50 157

原创重温经典——java学习day3

1.异常处理：异常原因： 1.用户输入了非法数据。 2.要打开的文件不存在。 3.网络通信时连接中断，或者JVM内存溢出处理流程： java异常分类结构图： 2.jdbc 1.JDBC是Java数据库连接技术的简称，提供连接各种常用数据库的能力 2.工作原理： *** 使用流程： try { //1.加载JDBC驱动 Class.forName(JDBC驱动类); } … … try { //2.与数据库建立连接 Connection con=DriverManager.getConnecti.

2020-07-29 18:18:39 160

原创重温经典——java学习day2

1.访问修饰符 ***Java中定义了private（私有的）、protected（受保护的）和public（公共的）的访问修饰符，同时也定义了一个缺省的访问级别，用于声明类、属性、方法的访问权限。 使用public访问修饰符，类的成员可被同一包或不同包中的所有类访问，也就是说，public访问修饰符可以使类的特性公用于任何类； 使用protected访问修饰符允许类本身、同一包中的所有类和不同包中的子类访问； 如果一个类或类的成员前没有任何访问修饰符时，它们获得缺省的访问权限，缺省的可以被同一包中.

2020-07-28 15:59:40 163

原创重温经典——java学习day1

一.Java的几个优点： 1.一次编写，到处运行。 2.系统的多平台支持。 3.强大的可伸缩性。 4.多样化和功能强大的开发工具支持。二.Java程序结构：三.编码规范： Java编码规范需要注意以下几点： 1.类名使用public修饰 2.一行只写一条语句 3.{ }的使用及位置 4.代码缩进四.数据类型：五.选择控制语句： if else：根据判断之后再做处理（根据判断选择代码运行） switch case：多分支判断（根据多个条件选择合适的条件输出） while：循环语句（判断为真则一直循

2020-07-27 18:41:53 170

原创小白的MySQL学习随笔day5

1.事物： set autocommit=0; 取消隐式事务自动提交的功能 start transaction;开启事务 commit;提交事务 rollback;回滚事务 2.视图：基于原始表得到的一个虚拟的查询结果集，视图本身不占用内存，安全，独立，调用方便。创建视图： create [or replace] view view_name As select_statement [with|cascaded|local|check option] 修改视图： alter view view_na

2020-07-25 09:00:21 103

doom156的博客