Linux虚拟机安装-网络配置-防火墙

X043800 — Sat, 12 Sep 2020 00:06:41 +0800

1. Linux虚拟机安装安装过程中没有相关图片的都是默认选择的,不需要修改 enter键开始安装等待安装完成 2.网络配置回到windows 回到Linux 修改后 esc进入命令模式 , shiftzz 保存并退出 3. Linux防火墙 systemctl status firewalld 查看防火墙状态 systemctl stop fir.

hive-窗口函数示例-列出连续多天有订单的店铺-列出连续打中地鼠的人名

X043800 — Thu, 03 Sep 2020 23:06:54 +0800

1.列出连续多天有订单的店铺 1.1 数据店铺名,日期,订单金额 a,2020-02-10,600 a,2020-03-01,200 a,2020-03-02,300 a,2020-03-03,200 a,2020-03-04,400 a,2020-03-05,600 a,2020-02-05,200 a,2020-02-06,300 a,2020-02-07,200 a,2020-02-08,400 b,2020-02-05,200 b,2020-02-06,300 b,2020-02-08,.

MapReduce案例-统计手机号总流量

X043800 — Wed, 02 Sep 2020 23:41:14 +0800

map方法和reduce方法都是循环调用的 map方法---每行数据调用一次 reduce方法---每个KV调用一次只执行一次的代码写在setup和cleanup中统计每个手机号的总流量数据格式: 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 需求:统计每个手机号的总流量数据为多个手机号访问不同网站消耗的流量每个

hive-创建数据库-创建表--hive版本3.1.2

X043800 — Wed, 02 Sep 2020 23:13:37 +0800

1.数据库 1.1创建数据库 create database if not exists database_name; 1.2查看所有的数据库 show databases; 1.3切换数据库 use database_name; 1.4查看当前所使用的数据库 select current_database(); 1.5查看数据库信息 show database extended database_name; 1.6删除数据库 drop database...

HIVE导入数据的方式

X043800 — Wed, 02 Sep 2020 22:41:23 +0800

1.load本地数据 2.loadHDFS数据 3.建表时指向数据位置location '' 4.insertinto table_name values() 5.insertinto table_name select ...from... 6.put数据到表目录下 7. create table ....as select ..from... 8. import导入数据 9.sqoopDataX数据迁移工具 ...

hive执行方式

X043800 — Wed, 02 Sep 2020 21:51:35 +0800

1. hive [root@linux01 /]# hive 本地连接--没有格式化 hive> show databases; 2.hive -command [root@linux01 /]# hive -e 'show databases;' hive后跟命令和语句---适合写shell脚本 3.hiveserver2 & [root@linux01 /]# hiveserver2 & [1] 11487 [root@linux01 /]# ...

HBASE-java客户端

X043800 — Sat, 29 Aug 2020 00:28:21 +0800

1.添加依赖pom.xml UTF-8 1.8 1.8

Hbase-shell客户端

X043800 — Fri, 28 Aug 2020 20:10:50 +0800

hbase shell 不懂的命令使用 help ‘command’ 查看指令的帮助 1. general processlist 查看正在运行的任务The currently running task status 查看集群状态 , 例如 : 1 active master, 1 backup masters, 3 servers, 0 dead, 1.3333 average load table_help 表相关命令的参考帮助 version hbase版本 whoam.

HBASE安装-同步集群时间

X043800 — Thu, 27 Aug 2020 19:50:03 +0800

1.HDFS启动 start-all.sh 2. ZooKeeper集群启动单节点启动: zookeeper-3.4.6/bin/zkServer.sh start 3.同步集群时间---时间不同步会抛出异常 1. 连接时间服务器同步集群时间 yumyum -y install ntpdate.x86_64 ntpdate 0.asia.pool.ntp.org 2.手动设置时间 date -s ''2020-08-27-19:2...

hadoop-HDFS操作-shell端-java端需要的依赖-简单案例-修改idea格式化代码快捷键

X043800 — Wed, 26 Aug 2020 23:24:47 +0800

1 shell端就是在linux虚拟机上操作HDFS 常用命令如下: List item

hadoop-HDFS简介-部分原理介绍

X043800 — Sat, 22 Aug 2020 23:57:26 +0800

1 HDFS架构 HDFS采用主从架构主节点 : NameNode 文中简称NN 从节点 : DataNode 文中简称DN 1.1 NameNode 存储元数据 , 记录用户操作的日志接收NN节点的注册 , 向DN分配集群ID(clusterID) , 指定存储数据的目录接收客户端的请求 , 向客户端返回元数据或响应维护集群的负载均衡 , 维护数据副本个数监控DN的心跳信号 , 接收DN的汇报 , 更新元数据 , 向DN分配复制副本的任务提供统一的虚拟目录供用户访问 1.2 DataNod

hadoop特点-组成

X043800 — Sat, 22 Aug 2020 15:04:43 +0800

1. hadoop特点高可靠性 , 数有多份副本存储在不同的机器上 , 保证数据的安全可靠高容错性 , 数据有多个副本 , 当机器宕机时 , 会自动复制副本到其他机器上 , 维持副本个数 , 自动分配失败的任务高扩展性 , 运算资源存储容量不足时可以横向扩展机器节点来增加低成本 , hadoop可以运行在价格低廉的机器上 2. hadoop组成 hdfs : 以文件为单位的分布式文件系统 , 用于存储海量的数据 mapreduce : 分布式运算编程框架 , 解决海量数据的分布式运算 Yarn

Linux-ssh免密-shell

X043800 — Sat, 15 Aug 2020 11:08:12 +0800

目录1. ssh协议免密2. 复制文件到另一台主机3. shell1. 变量定义和取值2. 运算方式3. 字符串测试,整数测试,文件测试,多重测试4. 创建shell文件5. if6. case7. for8. while9. 方法 1. ssh协议免密前提: 有多台虚拟机 , 安装了ssh //Linux安装时默认安装了ssh,没有的话也可以重新安装安装ssh: yum list | grep ssh yum -y install ssh安装包免密: ssh-keygen 一台虚拟机1次

Linux-压缩与解压-防火墙-JAVA_HOME配置-权限-网络命令-系统命令-搜索-安装rz-psmisc-netstat

X043800 — Mon, 10 Aug 2020 23:52:37 +0800

目录1. 压缩和解压1.1 gzip和gunzip1.2 tar2. 防火墙3. JAVA_HOME配置4. 权限5. 网络命令 1. 压缩和解压 1.1 gzip和gunzip - gzip 文件将文件压缩为.gz结尾的压缩文件 - gzip 多个文件逐个压缩 - gunzip 压缩文件解压单个压缩文件 - gunzip 多个压缩文件逐个解压为文件 - 缺点:只能压缩与解压单个文件,一般不用这个 1.2 tar - tar -zcvf 压缩包名多个文件将多个文件压缩

Linux特点-基本命令-网络配置

X043800 — Mon, 10 Aug 2020 21:53:00 +0800

1. linux特点免费开源 linux安全性高 , 稳定性好 linux文件系统没有桌面 , 便于部署资源占用少多用户,权限控制严格 2. linux基本命令 2.1 cd(change directory)切换目录 - cd ./ 当前目录 - cd ../ 上一级目录 - cd 路径切换到路径 - cd / 切换到根目录 - cd ~ 切换到当前用户所在的home - cd - 上一次所在的目录 - cd bin 当前目录下的bin目录等同于 ./bin 2.2

java基础-数组

X043800 — Sat, 27 Jun 2020 23:46:04 +0800

数组的动态初始化格式：数据类型[] 数组名 = new 数据类型[长度]; 给定数组的长度，有系统分配空间和初始值，数组长度一旦给定无法改变；数组本身是引用数据类型，数组内的元素可以是基本数据类型，也可以是引用数据类型（）；赋值：数组名[索引值：元素在数组中的序号，从0开始] = 要赋的值；取值：数组名[索引值]； public static void main(String[] args) { int[] arr = new int[5]; arr[0] = 1; arr[1]

java基础-方法

X043800 — Sat, 27 Jun 2020 21:35:42 +0800

方法的定义修饰符返回值类型方法名(参数列表){ 方法体; } 修饰符：访问修饰符：public、private、protected、默认修饰符 &非

流程控制结构

X043800 — Wed, 24 Jun 2020 22:00:02 +0800

if if的几种形式 if(关系表达式) { 语句体; //执行流程：判断关系表达式为ture还是false,true就执行语句体,false不执行语句体 } if(关系表达式) { 语句体1； //执行流程：判断关系表达式为ture还是false,true执行语句体1，false执行语句体2 }else { 语句体2; } if(关系表达式1) { 语句体1; }else if(关系表达式2) { //执行流程：判断关系表达式1为ture还

运算符

X043800 — Mon, 22 Jun 2020 21:19:23 +0800

1、算数运算符 1、+ ；- ；* ；/ ；%（取余）；整数运算结果为整数，如果需要结果为小数，需要小数参与运算或强制转换为小数类型；例如： int a = 15; int b = 2; System.out.println(1.0 * ( a / b ) ); System.out.println((double) ( a / b )); //结果为7.0 2、++ 和- - 分为：++变量；变量++；- -变量；变量- -；单独使用时没有分别，都是加1 /

java基础_day02

X043800 — Sun, 21 Jun 2020 20:12:16 +0800

标识符命名规则只能包含英文大小写字母、数字、 $和_（不能以数字开头；不能是关键字；区分大小写）；对类和接口命名：大驼峰命名法，每个单词首字母大写；例如：HelloWorld 对方法和变量命名：小驼峰命名法，首个单词首字母大写；例如：helloWorld 对常量命名：所有字母均为大写，字母间使用下划线连接；例如：HELLO_WORLD 包名：域名倒写，多级包之间使用.进行连接；例如：com.summonastra.service.Service.java 常量字面值常量：整数、小数、字符（’’

X043800的博客