- 博客(71)
- 收藏
- 关注
RSS订阅原创 HBase Java API编程实训
HBase Java API应用编程示例 本节主要介绍HBase Java API应用编程示例，演示如何准备HBase Java API的编程环境，给出了基于HBase Java API的多个应用编程示例。这些编程示例对应了HBase Shell命令行终端常见的操作命令，例如list命令、desc命令、create命令、alter命令、put命令、get命令、scan命令和delete命令等。1 HBase Java API编程环境准备准备HBase Java API编程工具1）开发工具
2023-04-25 16:04:00
1115
原创 HBase Shell命令行操作实验
1 HBase的访问方式和HBase Shell1.1 HBase Shell命令行终端1.进入HBase Shell终端环境HBase Shell是由Apache HBase官方提供的Shell命令行操作接口，是一个基于Ruby脚本语言的终端环境。利用HBase Shell用户可以方便地执行终端命令来操作HBase，进行HBase数据表的创建、删除和修改，列出表信息，读取表数据，插入表数据，删除表数据等操作。进入HBase shell终端环境之前，要先在LinuxShell命令行终端
2023-04-25 15:59:32
1477
原创 HBase Shell命令行终端
7.1 HBase的访问方式和HBase Shell本节先介绍HBase访问方式，包括HBase提供的访问方式和SQL on HBase访问方式。再重点介绍HBase Shell命令行终端，包括如何进入HBase Shell终端环境，如何查看HBase Shell提供的常用操作命令。7.1.1HBase的访问方式1.HBase自身提供的访问方式HBase属于典型的NoSQL非关系型数据库，不支持标准的SQL查询，但自身提供多种方式对数据库表进行访问和操作。HBase常见的数据库表访问方式如表
2022-05-12 09:24:19
1578
原创 Hadoop HA高可用实验操作说明
一 实验准备：1）运行或Virtual Box，把“HBase伪分布式”虚拟机的名称改成“standby”，或者从master克隆一台新的虚拟机再修改2）启动master完全分布式，slave1完全分布式，slave2完全分布式，standby高可用共4台虚拟机，直接操作虚拟机把standby的IP地址修改成192.168.56.09，修改IP地址方法参见《502机房主机win7系统与Vmare虚拟机Linux系统的网络连接配置操作说明》3）用XShell远程连接全部4台虚拟机master,sl
2022-05-02 08:23:07
917
原创 Hive数据分析案例
第9章 汽车销售数分析系统1 创建数据库cardbhive>create database if not exists cardb;hive>use cardb;2 创建数据表carhive>create external table cars(province string, month int, city string, country string, year int, cartype string, productor string, brand string, mo
2021-10-12 18:18:38
5805
3
原创 Hive 视图、分桶表与用户自定义函数
教材第六章 Hive 数据库对象与用户自定义函数 实验一 Hive 视图1创建视图hive> create view sogou_view as select * from sogou_table_ext where keyword is not null limit 100;OK说明：创建一个视图sogou_view，其数据源自数据表sogou_table_ext的前100行数据hive> desc sogou_view;OKts s...
2021-09-29 10:40:37
748
原创 Hive SQL数据查询进阶
教材第五章 Hive SQL数据查询进阶实验一 Hive 内置函数1 查看Hive提供的内置函数hive> show functions;2 数学函数加减乘除select 10/2;OK5.0hive> select 10/2;OK5.0round()函数：四舍五入hive> select round(88.947,2), round(77.912,1), round(55.667, 2);OK88.95 77.9 55.67ce...
2021-09-24 16:06:35
2923
原创 Hive SQL数据查询基础
教材第四章Hive SQL数据查询基础实验1 Hive SQL数据查询语句首先查看表sogou500w的列字段属性hive> desc sogou500w;OKts string uid string keyword stri...
2021-09-13 10:57:46
4077
原创 Hive DDL操作命令实验
1 查看Hive中现有的所有数据库hive> show databases;OKdefault说明：当前Hive中只有一个默认数据库defalut2 查看当前数据库中的数据表hive> show tables;OKstudent说明：数据库default就是默认的当前数据库3 创建数据库1）创建一个新的数据库sogouhive> create database sogou;OK2）再次查看Hive中现有的所有数据库hive> show datab
2021-09-06 10:05:12
2473
原创 hive本地模式安装说明
一 hive1.0本地模式安装步骤1）安装hadoop2.0伪分布式，启动hdfs和yarn2）安装mysql，用户名root，密码SoftCup@2021创建hive数据库create database hive3）修改profile文件# jdkexport JAVA_HOME=/usr/local/java/jdk1.8export PATH=$PATH:$JAVA_HOME/bin# hadoopexport HADOOP_HOME=/usr/local/hadoop-
2021-08-28 16:58:18
2159
原创 HBase Java API编程实验
HBase Java API 编程实验:第1个HBase Java程序：1)启动VirtualBox虚拟机HBaes伪分布式，依次执行执行start-dfs.sh 脚本启动HDFS，再执行start-hbase.sh 脚本启动HBase2）打开桌面图标"eclipse.exe",启动Java IDE（集成开发环境）Eclipse，查看Eclipse界面的左边栏，已经存在一个项目testHBase3）Linux终端执行HBase Shell命令，进入HBase Shell命令行终端，执行list命
2021-05-26 08:40:35
1906
原创 HBase Shell命令行操作接口实验
启动VirtualBox虚拟机中的HBase1.2.0，在伪分布式部署方式下进行以下实验：进入HBase shell之前，要先在LinuxShell命令行终端执行执行start-dfs.sh 脚本启动HDFS，再执行start-hbase 脚本启动HBase。如果Linux系统已配置HBase环境变量，可直接在LinuxShell命令行终端执行hbase shell命令，即可进入HBase Shell 命令行终端环境。[root@hbase ~]# hbase shell...
2021-03-31 08:46:43
2816
原创 HBase完全分布式集群的简单安装操作说明
一 HBase完全分布式集群（使用内置ZooKeeper）安装操作说明1）双击桌面“Oracle VM Virtual Box”图标，启动Virtual Box虚拟机软件2）展开Virtual Box左边的HBase1.2.0，鼠标右键点击【启动】，菜单中选【启动】-》【分离式启动】，会弹出一个虚拟机启动窗口，耐心等待虚拟机启动过程完成3）双击桌面“XshellPortable”图标，启动远程登陆终端工具XShell4）菜单【文件】-》【打开】，弹出会话窗口，双击“HBase伪分布式”，用户
2021-03-10 12:00:19
2332
原创 HBase单机模式和伪分布式的简单安装操作说明
HBase单机模式简单安装操作说明1）双击桌面“Oracle VM Virtual Box”图标，启动Virtual Box虚拟机软件2）展开Virtual Box左边的HBase1.2.0，鼠标右键点击【启动】，菜单中选【启动】-》【分离式启动】，会弹出一个虚拟机启动窗口，耐心等待虚拟机启动过程完成3）双击桌面“XshellPortable”图标，启动远程登陆终端工具XShell4）菜单【文件】-》【打开】，弹出会话窗口，双击“HBase伪分布式”，用户名和密码都是root，应该能成功远程
2021-03-08 09:46:10
1695
原创 Sqoop批量数据导入导出工具操作实训
一 安装mysql[root@node1 local]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64
2020-12-03 09:33:41
1011
原创 HDFS集群扩容和扩副本实验简明操作说明
实验目标：1）在3个节点组成的Hadoop分布式集群的基础上，先增加一个DataNode进程，实现服务（软件）层面的扩容；再实现新增加一个虚拟机slave3节点，实现硬件层面的扩容；目的都是模拟企业真实生产环境中，通过动态增加DataNode节点，实现HDFS存储能力的热扩容（业务不停机，数据补丢失）2）通过修改副本因子的配置参数，模拟企业真实生产环境中，通过提高副本数来增加HDFS数据存储的容错性3）通过本实验，间接验证一下HDFS的副本存放策略和心跳机制实验 一增加一个Data...
2020-11-27 15:06:47
603
原创 MapReduce Java API编程简单操作说明
实验环境：本操作说明适合502机房和504机房一 实验准备：1）启动Hadoop伪分布式共1台虚拟机，修改IP地址方法参见《502机房主机win7系统与Vmare虚拟机Linux系统的网络连接配置操作说明》2）用XShell远程连接1台虚拟机hadoop，如果连接不成功，参考《502机房主机win7系统与Vmare虚拟机Linux系统的网络连接配置操作说明》完成网络连接配置3）双击桌面快捷方式Eclipse Java 2019-06启Java集成开发环境Eclipse4）启动Hadoop
2020-11-19 10:16:53
479
原创 Hadoop HA高可用集群简明安装操作说明
实验环境：本操作说明适合502机房和504机房一 实验准备：1）运行Vmware WorkStation或Virtual Box，把“Hadoop伪分布式”虚拟机的名称改成“standby高可用”，“master完全分布式”改成“master高可用”“slave1完全分布式”改成“slave1高可用”，“slave2完全分布式”改成“slave2高可用”2）启动master完全分布式，slave1完全分布式，slave2完全分布式，standby高可用共4台虚拟机，把standby的IP地址修改
2020-11-06 14:05:07
918
原创 ZooKeeper分布式集群简明安装操作说明
实验环境：本操作说明适合502机房和504机房实验准备：首先要运行Vmware WorkStation或Virtual Box，启动master完全分布式，slave1完全分布式，slave2完全分布式三台虚拟机，用XShell远程连接master,slave1,slave2，如果连接不成功，参考《502机房主机win7系统与Vmare虚拟机Linux系统的网络连接配置操作说明》完成网络连接配置，三台虚拟机的IP地址如下：192.168.56.10 master192.168.56.11 s
2020-10-23 13:46:37
1351
2
原创 Hadoop完全分布式集群的简单安装操作说明
实验环境：本操作说明适合502机房和504机房首先要运行Vmware WorkStation或Virtual Box，启动master完全分布式，slave1完全分布式，slave2完全分布式第1步：先在第一个台虚拟机master执行以下操作，再依次在slave1和slave2重复相同的操作：1）执行cd /usr/local/ 切换到安装目录2）执行mv hadoop-2.6.0-cdh5.7.0/ hadoop-2.6.0-cdh5.7.0.bak 备份掉之前的Hadoop 或 执行 ...
2020-10-09 13:57:08
2763
4
原创 Hadoop Shell命令行操作接口的简单操作说明
必须用XShell连接虚拟机Linux，执行以下操作：1) 执行start-dfs.sh启动HDFS集群2）执行hadoop fs查看Hadoop Shell帮助信息3）执行hadoop fs -ls / 查看HDFS分布式系统根目录下当前所有文件和目录信息4）执行hadoop fs -mkdir /test 在HDFS分布式系统根目录下创建test子目录，再执行hadoop fs -ls / 查看一下刚创建的test子目录5）执行cd切换到/root目录，ls命令查看应该有个word.
2020-10-02 16:23:33
598
原创 Hadoop伪分布式简明安装操作说明
Hadoop伪分布式简明安装操作说明1）cd /usr/local/ 切换到安装目录2）mv hadoop-2.6.0-cdh5.7.0/ hadoop-2.6.0-cdh5.7.0.bak 备份掉之前的Hadoop3）cd 切换到/root目录4）tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/ 解压缩5）执行命令 vi /etc/hostname 将主机名修改为hadoop 6）执行命令 vi /etc/...
2020-09-21 10:15:07
872
原创 502机房主机win7系统与Vmare虚拟机Linux系统的网络连接配置操作说明
1）打开Vmware WorkStation，启动“Hadoop为分布式”虚拟机，在win7的开始菜单运行cmd.exe，执行ping 192.168.56.10 -t，检查能否ping通虚拟机；如果能ping通，则打开终端工具XShell连接虚拟机Linux即可；如果无法ping通，显示请求超时，则继续后续操作2）打开Win7的“控制面板->网络和 Internet->网络连接”，如果虚拟网卡被禁用（如Vmnet1和Vmnet8），则鼠标右键启用虚拟网卡，检查虚拟网卡Vmnet1的IP地址
2020-09-18 11:49:25
2508
原创 HBase Java API编程：源码详解
示例源码1：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Connection;import org.apache.hadoop.hbase.client.ConnectionFactory;public class
2020-05-17 21:58:37
879
原创 HBase Java API编程：Demo程序实验
HBase JavaAPI编程实验编程环境：开发工具使用Eclipse，简单好用利于初学者方式一（必学）：创建一个普通Java Project，直接导入hbase-1.2.0-cdh5.7.0.tar.gz压缩包的lib子目录中与HBaseAPI编程有关的所有jar包，建议初学者使用操作步骤：EClipse项目=》右键菜单=》Build Path =》Configure Bui...
2020-04-03 16:24:30
1233
原创 打牢学好大数据的基础能力：Linux、Java和SQL
一道来自大厂的真实大数据开发岗位面试题问题：尝试使用五种方式，对一个文本文档进行词频统计并对统计结果按单词进行排序，要求使用Linux、Java、hive、Spark、Flink五种方式实现第一种方式：使用Linux Shell命令行实现思路:多个Linux命令用管道连接实现词频统计和排序（管道的本质是文件）答案：cat words.txt | tr -s " " "\n" | ...
2020-04-02 19:55:40
329
原创 从传统关系型数据库到NoSQL非关系型数据库(《分布式数据库HBase》导论)
讲HBase之前，我们先从关系数据库讲起，再从逻辑上一步步推导出为什么要使用HBase从一个关系数据库的例子开始:我们学的过MySQL数据库，就是一个典型的关系数据库一个关系数据表的典型例子：学生-课程-成绩表一共三张关系表：学生表（学号<string>，姓名<string>，年龄<int>） 学号（Key） ...
2020-02-06 17:07:10
1205
原创 HBase SHELL命令行操作接口实训
HBase Shell 是Apache HBase官方提供的SHell命令行操作接口，通过执行命令的方式操作HBase，如果已经配置HBase的环境变量，就可以在Linux的SHell命令行终端执行hbase shell 命令进入【HBase Shell 命令行终端】[root@hadoop ~]# hbase shell2020-01-19 10:07:20,147 INFO [main]...
2020-01-19 10:26:54
1330
原创 HBase集群搭建实验(5)_分布式高可用部署（依赖外部独立ZooKeeper集群，实现HDFS Master HA + HBase HMaster HA）
HBase分布式高可用模式（HMaster HA）：1）不同的HBase进程分别独立运行在多台硬件配置较高的服务器主机构成的集群中，适用于可靠性高的HBase运维和生产环境2）依赖于HDFS存储数据，因此部署Hbase分布高可用之前必须有一个正常运行的HDFS集群3）依赖于独立的外部ZooKeeper集群，不能使用内置ZooKeeper4）依赖于Hadoop HA高可用集群，必须先部...
2020-01-18 13:42:07
872
原创 HBase集群搭建实验(3)_完全分布式部署（使用内置ZooKeeper，非HMaster HA）
HBase完全分布式模式：1）不同的HBase进程分别独立运行在多台硬件配置较高的服务器主机构成的集群中，适合HBase的运维和生产环境2）依赖于HDFS存储数据，因此布署Hbase完全分布式之前必须有一个正常运行的HDFS集群3）依赖于独立的外部ZooKeeper集群，使用HBase内置的ZooKeeper实验前提：HBase完全分布式部署方式依赖Hadoop，本实验紧接Hadoop...
2020-01-18 12:57:19
1612
1
原创 HBase集群搭建实验(1)_单机模式安装（使用内置ZooKeeper）
HBase单机模式：1)Hbase不使用HDFS存储数据，仅使用本地Linux文件系统来存储数据2) 不同的HBase或ZooKeeper守护进程都运行在同一个JVM（Java Virtual Machine）中3)HBase单机模式安装是完全不依赖于Hadoop的，仅用于在硬件配置（内存）很低的计算机上进行最简单的HBase安装和使用体验实验前提：无任何实验前提，HBase伪分布式部...
2020-01-17 19:45:36
2867
原创 HBase集群搭建实验(2)_伪分布式部署（使用内置ZooKeeper）
HBase伪分布式模式1）HBase使用HDFS存储数据，所有进程运行在同一个节点上，不同的HBase或ZooKeeper守护进程运行在不同的JVM（Java Virtual Machine）中2）使用HBase内置的ZooKeeper3）比较适用于在硬件配置一般的用于开发的计算机上运行，适用于HBase的开发和测试环境实验前提：HBase伪分布式部署依赖于Hadoop伪分布式...
2020-01-16 12:29:36
1859
原创 HBase集群搭建实验(4)_完全分布式部署（依赖外部独立ZooKeeper集群，实现HMaster HA）
HBase完全分布式模式：1）不同的HBase进程分别独立运行在多台硬件配置较高的服务器主机构成的集群中，适合HBase的运维和生产环境2）依赖于HDFS存储数据，因此布署Hbase完全分布式之前必须有一个正常运行的HDFS集群3）依赖于独立的外部ZooKeeper集群，不使用内置ZooKeeper实验前提：HBase完全分布式部署方式依赖Hadoop和ZooKeeper，本实验紧接...
2019-12-27 11:11:44
2379
原创 Hadoop集群搭建终极实验(7) _分布式联邦高可用集群部署（Federation+HA）
参考文档：https://yq.aliyun.com/articles/335669?spm=a2c4e.11155435.0.0.61fd5f09CD5EDzhttps://blog.51cto.com/sstudent/1392447前提实验：本实验是基于Federation, Zookeeper和HA这三个实验的综合Hadoop集群部署实验，在前提实验完成的基础上继续进行HDFS...
2019-12-09 11:57:13
663
原创 Hadoop集群搭建实验(6) _分布式高可用集群部署（HA）
实验目标：部署一个小型的HDFS HA(NameNode HA)分布式高可用集群 ，用于教学演示环境要求： 虚拟机VirtualBox 操作系统 Centos7 hadoop版本 hadoop-2.6.0-cdh5.7.0 ZooKeeper版本 zookeeper-3.4.5-cdh5.7.0.tar.gz前提实验：本实验紧接ZooKeepe...
2019-11-04 18:43:06
2118
原创 HDFS安全模式（NameNode安全模式）实验
实验目的：实验一：验证NameNode启动时确实会进入安全模式，检查数据块的完整性，如果数据块是完整的，会退出安全模式，正常响应读写请求实验二：验证NameNode启动时确实会进入安全模式，如果未达到配置文件规定个数的DataNode启动，会一直处于安全模式，直到达到规定个数的DataNode都启动后，才会退出安全模式实验三：验证在NameNode进程运行过程中，如果突然出现了data...
2019-11-04 10:20:35
1561
原创 《hadoop生态系统及开发》知识点归纳
Hadoop生态系统及开发运维：hdfs集群的安装，部署，配置 实验 重点 （各种实验）开发：hdfs api mapreduce api 简单demo 程序大数据两个核心问题:分布式存储：hdfs分布式计算：mapreduce大数据两个典型应用场景:历史 离线 批处理：MapReduce（外存hdfs）实时 在线 流处理：Spark内存（微批处理） Storm...
2019-11-04 08:42:32
379
原创 MapReduce Java API编程实验
MapReduceJavaAPI编程实验 （仅供课堂教学演示）实验步骤：1）在win7下用Eclipese创建Java Project，再创建WordCount.java源代码文件,并编写源代码2）直接导入hadoop-2.6.0-cdh5.7.0.tar.gz安装包中与MapReduce API编程的有关jar包在win7下把hadoop-2.6.0-cdh5.7.0....
2019-10-24 10:30:20
1734
原创 Hadoop集群搭建实验(4) _HDFS Federation联邦集群部署
参考文章：https://blog.youkuaiyun.com/pengxiaozhen1111/article/details/88095914https://blog.youkuaiyun.com/wild46cat/article/details/53423472https://blog.youkuaiyun.com/qq_39532946/article/details/76461110https://my...
2019-10-23 12:33:25
1187
原创 HDFS SHELL命令行接口操作实训
进行本实训之前，建议把教材《Hadoop大数据开发实战（杨力 著）》第56~67页的HDFS SHELL命令先练习一下，书上的命令比较基础=======================HDFS的基本SHELL操作命令========================【实验描述】Hadoop提供HDFS分布式文件系统交互的SHELL命令，通过了解Hadoop Shell命令的用法。掌握对Had...
2019-10-08 13:51:17
1309
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人