- 博客(40)
- 收藏
- 关注
RSS订阅原创 hive基础
文章目录hive基础hive简介hive元数据管理hive体系结构hive interface命令窗口模式其他使用环境hive数据类型原始数据类型复杂数据类型hive元数据结构hive中的库hive基础hive简介什么是hive？hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive的优势和特点：提供了一个简单的优化模型HQL类SQL语法，简化MR开发支持在不同的计算框架上运行支持在HDFS
2020-09-24 19:11:01
277
原创 Linux常用命令
Linux命令目录命令1、增加目录（1）mkdir [/路径/]目录名2、删除目录（2）Rmdir [/路径/]目录名3、改变目录（1）复制：cp 原路径 新路径 cp -r 复制文件夹（2）移动/重命名：mv 原路径 新路径4、查看目录：（1）查看当前路径：pwd（2）切换到路径：cd（3）查看目录内容：ls①-a 展示所有文件（包括隐藏文件）-A（不包括隐藏文件）②-l 展示所有文件的详细信息③-R 递归查找所有子内容文件命令1、创建文件（1）touch [/路径/
2020-09-16 19:37:29
162
原创 分布式资源调度框架YARN
文章目录分布式资源调度框架YARNYARN概述YARN的基本架构核心组件YARN架构核心组件-ResouceManagerYARN架构核心组件-NodeManagerYARN架构核心组件-ApplicationMasterYARN架构核心组件-ContainerYARN的工作机制YARN的资源调度器YARN常用命令启动JobHistoryServer分布式资源调度框架YARNYARN概述YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离
2020-09-16 00:12:18
203
原创 安装单机hive
文章目录安装hive解压配置环境变量配置文件启动安装hive解压解压安装包并重命名 tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt mv hive-1.1.0-cdh5.14.2/ hive配置环境变量vi /etc/profile export HIVE_HOME=/opt/hive PATH里加:$HIVE_HOME/binsource /etc/profile可使用hive --version查看hive版本配置文件切换到hiv
2020-09-15 23:52:15
145
原创 安装单机hbase
文章目录安装hbase解压修改配置文件启动hbase测试安装hbase解压解压压缩包tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt重命名mv hbase-1.2.0-cdh5.14.2/ hbase修改配置文件cd hbase1、修改hbase-env.shvi conf/hbase-env.sh添加如下：export JAVA_HOME=/opt/java8#java8为jdk退出输入ESC，输入:set nu查看行数，注释掉
2020-09-15 22:51:12
92
原创 HA搭建
文章目录HA搭建前提配置文件配置core-site.xml配置hdfs-site.xml配置yarn-site.xml分发配置文件启动集群HA搭建前提集群搭建完成、zookeeper搭建完成配置文件cd /opt/hadoop/etc/hadoop配置core-site.xmlvi core-site.xml<!-- 指定hdfs的nameservice为ns --> <property> <name>fs.defaultFS</name
2020-09-15 22:36:27
235
原创 ELK安装与配置
文章目录ELK安装前提Elasticsearch安装解压安装包ES配置启动EShead-master及node安装解压head-master解压nodeELK安装前提1、虚拟机安装2、配置jdk3、安装所需的安装包如下：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.g
2020-09-15 21:58:05
245
原创 hadoop配置—搭建集群并安装zookeeper
文章目录hadoop集群搭建前提克隆虚拟机zookeeper安装配置zookeeperhadoop集群搭建前提hadoop集群搭建需要启动多台虚拟机(我这配置了3台)，所以我将之前安装的hadoop进行克隆克隆虚拟机(克隆虚拟机需先关机)选中要克隆的虚拟机，右击选择管理—>克隆，如图所示除了有些步骤，其他都是下一步要改的步骤如下1、克隆方法要创建完整克隆2、选择安装路径(不要放在C盘)3、配置内存(我是选的4GB，根据电脑内存配置)4、网络适配器重新生成MAC码(我这里
2020-09-15 19:27:26
509
原创 MapReduce原理及编程实现
文章目录MapReduce原理及编程实现MapReduce基本概念MapReduce运行过程MapReduce原理及编程实现MapReduce基本概念简介：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。特点：可扩展性、高容错性、高吞吐量缺点：
2020-09-12 00:11:41
861
原创 使用IDEA创建Maven
文章目录使用IDEA创建MavenMaven简介Maven下载与配置使用IDEA创建Maven项目使用IDEA创建MavenMaven简介Maven是一个项目管理工具，它包含了一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。当你使用Maven的时候，你
2020-09-10 19:28:06
131
原创 hadoop安装(1)
hadoop安装(1)解压所需的包将hadoop-2.6.0-cdh5.5.14.2.tar.gz和hadoop-native-64-2.6.0.tar拖到software目录下，进行解压tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib/native/tar -zxvf hadoop-2.6.0-cdh5.5.14.2.tar.gz -C /opt切换到opt目录 cd /opt将hadoop-2.6.0-cdh5.5.14.2重命名
2020-09-04 14:43:06
153
原创 使用DQL命令查询数据(一)
使用DQL命令查询数据(一)DQL语言DQL（Data Query Language）称为数据查询语言作用：查询数据库数据，如SELECT语句简单的单表查询或多表的复杂查询和嵌套查询数据库语言中最核心、最重要的语句使用频率最高的语句SELECT语法SELECT [ALL | DISTINCT] { * | table.* | [ table.field1 [ as alias1] [, table.field2 [as alias2]][, …]] }FROM table
2020-08-27 17:34:41
446
原创 初识MySQL
初识MySQL数据库概念：长期存放在计算机内，有组织、可共享的大量数据的集合，是一个数据“仓库”作用：用于保存、管理数据分类：1、关系型数据库（SQL）MySQL、Oracle、SQL Server、SQLite、DB22、非关系型数据库（NOSQL）Redis、MongoDBDBMS(数据库管理系统)概念：数据管理软件，科学组织和存储数据、高效地获取和维护数据MySQL概念：是现流行的开源、免费的关系型数据库特点：1、免费、开源数据库 2、小巧、功能齐全3、使用便捷4、
2020-08-20 12:02:31
119
原创 XML和正则表达式
XML和正则表达式XML&JSONXMLXML（EXtensible Markup Language）,可扩展标记语言特点：1、XML与操作系统、编程语言的开发平台无关2、实现不同系统之间的数据交换作用：数据交互配置应用程序和网站Ajax基石XML结构如下：<?xml version="1.0" encoding="UTF-8"?><books> <!--图书信息 --> <book id="bk101">
2020-08-10 09:32:10
2311
原创 反射机制
反射定义：反射是指在程序运行期间，能够观察和修改类或者类的对象的属性和行为的特性项目开发中常见的使用反射的场景：1、使用JDBC连接数据库2、Servlet在Web容器中的加载和运行反射的作用：在运行时获取类的修饰符，包名，类名，实现的接口，继承的父类在运行时获取类的所有属性名，修饰符，属性类型在运行时获取所有方法，方法的返回值类型，方法名，方法参数数量，方法参数类型在运行时调用加载类的方法反射的使用获取Class对象的三种方式：Object ——> getClass()
2020-08-06 19:19:10
153
原创 多线程
多线程什么是多线程：如果在一个进程中同时运行了多个线程，用来完成不同的工作，则称之为“多线程”多个线程交替占用CPU资源，而非真正的并行执行多线程的好处：充分利用CPU的资源简化编程模型带来良好的用户体验Thread类主线程：Thread类Java提供了java.lang.Thread类支持多线程编程主线程main()方法即为主线程入口产生其他子线程的线程必须最后完成执行，因为它执行各种关闭动作如：public static void main(String args[])
2020-08-06 09:46:08
463
原创 输入和输出(二)
输入和输出(二)Reader类常用方法int read( )int read(char[] c)read(char[] c,int off,int len)void close( )子类InputStreamReader常用的构造方法InputStreamReader(InputStream in)InputStreamReader(InputStream in,String charsetName)FileReader类FileReader类是InputStreamReader
2020-08-04 20:02:58
1003
原创 实用类补充和输入输出
实用类补充和输入输出实用类补充StringBuffer类StringBuffer：对字符串频繁修改（如字符串连接）时，使用StringBuffer类可以大大提高程序执行效率StringBuffer声明StringBuffer strb = new StringBuffer();StringBuffer strb = new StringBuffer("aaa");StringBuffer的使用sb.toString(); //转化为String类型sb.append(
2020-08-03 19:32:50
320
原创 实用类（二）
实用类（二）Random类生成随机数的方式：java.util.Random类Random rand=new Random(); //创建一个Random对象for(int i=0;i<20;i++){//随机生成20个随机整数，并显示 int num=rand.nextInt(10);//返回下一个伪随机数，整型的 System.out.println("第"+(i+1)+"个随机数是："+num);} 注：用同一个种子值来初始化两个Random 对象，然后用
2020-08-02 23:26:08
403
原创 实用类(一)
实用类(一枚举枚举的定义：枚举指由一组固定的常量组成的类型，可以认为是类的变种.public enum Genders{ Male,Female}优点：类型安全；易于输入；代码清晰特点：里面的直接写的值都是该类的公共静态常量，可以用类型.值得方式调用可以和普通类一样定义普通类和方法练习：输出学习阶段目标为大数据岗位课程三个学习阶段定义枚举：L1、L2、L3，分别表示第一、二、三阶段编程输出每个单元的学习目标L1：大数据开发工程师L2：大数据挖掘工程师L3：大数据架构师
2020-07-30 22:35:23
421
原创 Java集合框架部分体系结构（补充）
Java集合框架部分体系结构（补充）Map类接口：Map集合的特点：1、Map集合是一个双列集合，包含key和value两个值。2、在Map集合中，key和value的数据类型可以相同，也可以不同。3、在Map集合中，key是不可重复的，value是可重复的。4、在Map集合中，键与值一一对应(即key和value一一对应)。Map的常用方法：Map的增删改查：增：put();删：remove();改：put();查：get();public class TestMap {
2020-07-29 19:12:17
359
原创 Java集合框架部分体系结构
Java集合框架部分体系结构集合框架图Java集合框架提供了一套性能优良、使用方便的接口和类，它们位于java.util包中。Java的集合类主要由两个接口派生而出：Collection和Map，Collection和Map是Java集合框架的根接口，这两个接口又包含了一些子接口或实现类。其中，Collection 是一组无序、可重复的数据，Map接口是键－值对象，实现一一对应。Collection接口包含了List和Set两大分支，其中：1、List集合是有序集合，集合中的元素可以重复，访问
2020-07-28 19:42:30
521
转载 VMware安装虚拟机Centos7
在vmware上安装Linux虚拟机Centos7(感觉文章有帮助的小伙伴，请三连走起)**前提：**安装好vmware(我的版本15.5)系统要求支持使用 20...
2020-07-27 19:26:22
158
原创 异常
异常异常的定义：异常是指在程序的运行过程中所发生的不正常的事件，它会中断正在运行的程序Java通 过Throwable类的众多子类描述各种不同的异常。Java异常是Throwable子类的实例，描述了出现在一段编码中的错误条件。当条件生成时，错误将引发异常。异常的结构Throwable：有Error和Exception两个子类，各自包含大量子类。Error：错误Exception：异常确定会发生异常的情况：Checked异常:提前处理不确定：运行期异常：RuntimeException
2020-07-25 19:16:57
497
原创 抽象类和接口
抽象类和接口抽象类抽象类和抽象方法代码如下：public abstract class Man { public abstract void eat();}定义：抽象就是从多个事物中将共性的，本质的内容抽取出来。注意点：1、抽象类中的构造函数用于给子类对象进行初始化。2、抽象类中可以定义非抽象方法3、抽象关键字abstract和final , private , static 不可以共存4、抽象类中可以不定义抽象方法，因为抽象方法的目的仅仅是为了不让该类创建对象。抽象类与普通类的区
2020-07-24 10:24:58
139
原创 方法重写与多态
方法重写与多态方法重写方法的重写：子父类出现了一模一样的方法注意:返回值类型可以是子父类子类根据需求对从父类继承的方法进行重新编写重写时，可以用super.方法的方式来保留父类的方法构造方法不能被重写在继承的情况下，子类的方法满足以下条件：1、方法名相同2、参数列表相同3、返回值类型相同，或者是父类返回值类型的子类4、访问修饰符的权限不能小于父类5、抛出的异常不能大于父类（严于）区别：练习：使用方法重写优化电子宠物系统，实现如下效果public abstract class
2020-07-23 01:12:07
270
原创 封装与继承
封装与继承封装概念：将类的某些信息隐藏在类内部，不允许外部程序直接访问，而是通过该类提供的方法来实现对隐藏信息的操作和访问原则：隐藏对象的属性和实现细节，仅对外公开借口，并且控制访问级别实现封装的方法：1.修改属性的可见性2.创建共有的getter/setter方法3.在getter/setter方法中加入属性控制语句封装的好处：1.便于使用者正确使用系统，防止错误修改属性2.有助于系统之间的松耦合，提高系统独立性3.提高软件的可重用性4.降低了构建大型系统的风险练习：使用封装实现
2020-07-21 23:30:41
215
原创 认识类与对象
认识类与对象掌握类和对象的关系类是具有相同特征的对象的集合（抽象）；对象是类的实体对象是用于计算机语言对问题域中事物的描述，对象通过“属性（attribute）”和“方法（method）”来分别对应事物所具有的静态属性和动态属性...
2020-07-20 10:22:55
119
原创 一维数组及其应用
一维数组定义数组数组是一个变量，存储相同数据类型的一组数据声明一个变量就是在内存空间划出一块合适的空间声明一个数组就是在内存空间划出一串连续的空间在java中，定义数组的语法有以下两种。1.数据类型 [] 数组名=new 数据类型 [ 数据长度 ];如：int [] scores=new int [5];2.数据类型 数组名 []=new 数据类型 [ 数组长度 ];如：int scores []=new int [5];注:1.定义数组时要指定数组名和数组类型。2.必须书写”
2020-07-14 20:13:11
1274
原创 java练习题—多重循环
java练习题—多重循环难题回顾3、题目：将一个正整数分解质因数。例如：输入90,打印出90=233*5。程序分析：对n进行分解质因数，应先找到一个最小的质数k，然后按下述步骤完成：(1)如果这个质数恰等于n，则说明分解质因数的过程已经结束，打印出即可。(2)如果n不等于k，但n能被k整除，则应打印出k的值，并用n除以k的商,作为新的正整数n,重复执行第一步。(3)如果n不能被k整除，则用k+1作为k的值,重复执行第一步。public class test3 { public stat
2020-07-14 09:57:38
434
原创 多重循环与跳转语句
多重循环与跳转语句多重循环while循环while(循环条件1){//循环操作1while(循环条件2){//循环操作2}}do-while循环do{//循环操作1do{//循环操作2}while(循环条件2);}while(循环条件1);for循环for(循环条件1){//循环操作1for(循环条件2){//循环操作2}}举例：public class pc1 { public static void main(String[] args) {
2020-07-13 10:09:41
144
原创 循环结构
循环结构while循环结构格式基本格式：while(判断条件语句) {循环体语句;}扩展格式：初始化语句;while(判断条件语句) {循环体语句;控制条件语句;}说明：while循环语句的循环方式为利用一个条件来控制是否要继续反复执行这个语句。举例：public class pc1 { public static void main(String[] args) { int sum = 0; int i = 1; whi
2020-07-09 20:17:17
86
原创 三元表达式和选择结构
三元表达式格式：条件？为true的值：为false的值运算规则：先判断条件表达式的值，若为true，运算结果为表达式1；若为false，运算结果为表达式2。选择结构基本的if语句if的基本结构：if(判断条件){满足条件后执行语句}if…else…基本结构：if(判断条件){满足条件}else{不满足判断条件需要执行的语句。}注：1.if选择结构 条件必须是一个布尔表达式，一旦条件中的值为true就执行代码块，否则跳过2.if-else选择结构 一旦条件中的值为tr
2020-07-08 23:56:39
985
原创 变量和数据类型
变量和数据类型变量命名规则变量命名规则：字下美人数、骆驼、有意义字：字母a~z,A ~Z下：下划线美：美元符$人：人名币符￥数：数字0-9不能以数字开头变量名由：字下美人数 组成骆驼：驼峰命名法 （开头以小写字母开头，类名以大写字母开头）classNameschoolAddressaddressOfSchool变量的数据类型数值型：整形： byte,short,int,long byte范围：-128~127 -2的七次方~2的七次方-1
2020-07-07 19:40:01
174
原创 Java原理与jdk安装及环境变量
Java原理与jdk安装及环境变量Java原理基本上所有的编程结果：开发语言的分类：jdk安装及环境变量jdk安装Java环境变量配置我的第一个源程序Java原理基本上所有的编程结果：B/s:Broser/server 浏览器C/s:Client/server 客户端开发语言的分类：汇编编译型语言（高级语言）解释性语言（边运行，边解释）jdk安装及环境变量jdk安装首先从官网下载安装包，双击安装包开始安装，保存默认设置，一直单击“下一步”按钮，最终完成安装。安装完成后，在安装
2020-07-06 19:38:57
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人