YKQCC的博客

Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。这样做可以避免表命名冲突。如果用户没有显示指定数据库，那么会使用默认的数据库“default”1.查看Hive中所包含的所有数据库show databases;2.切换到xx数据库use databases xx3.创建数据库create database database_name4.查看数据库信息describe database xx5.删除数据库drop database xx默认情况

（一）HIVE数据类型1.基本数据类型（了解）2.复杂数据类型(1)ARRAY的使用1.数据说明创建person.txt文件2.创建person表create table person(name string,work_location array<string>)row format delimitedfields terminated by '\t'collection items terminated by ',';对每行数据按字段分隔：本例中n

Hive是基于Hadoop的一个数据仓库工具，可以将结构化文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。1、简介对比常用的数据存储管理： 文件 数据库，添删改查 大数据环境下数据存储管理： 文件---------->HDFS 数据库------->HBase（OLTP）添删改，Hive（OLAP）查 出现出现原因： 基于sql的数据管理，要转到Hadoop上 Had

七、删除数据—跟据行键删除一行数据与前面类似，删除操作中先创建一个Delete对象将行键传入，然后通过addColumn()方法将改行键对应的列族和列添加上，并从表中进行删除public static void deleteRow(String tableName,String row,String cf,String col)throws IOException{Configuration cfg = HBaseConfiguration.create();cfg.set("hbase.zo

上篇blog中讲解了对表的查询以及创建、删除，是对整个表的操作，下面进行对表中的数据的增删改查操作。四、增添数据在对表进行数据的增加操作中，可以进行添加一行数据，也可以进行一次添加多行数据。（1）添加一行数据：首先先对表进行判断，判断表是否存在，若表存在则通过Connection获取所操作的Table类的一个实例，即将table取出。 Table table = conn.getTable(TableName.valueOf(tableName));为添加数据，所以应该指明添加...

这里不再使用HBase命令行对表进行操作，而是通过Java API接口对HBase进行处理，包括对表的增删改查操作一、判断表是否存在设置配置信息Configuration cfg = HBaseConfiguration.create();cfg.set("hbase.zookeeper.quorum", "centos01");cfg.set("hbase.zookeeper.property.clientPort", "2181");根据配置信息取得与数据库的连接Conne...

1.1计算机网络在信息时代的作用（一）三大类熟悉的网络电信网络 有线电视网络 计算机网络（二）互联网的基本特点连通性 共享1.2互联网概述1.2.1网络的网络1.计算机网络：由若干节点和链接这些节点的链路组成网络中的节点可以是计算机，集线器，交换机和路由器等网络之间还可以通过路由器互连起来，这就构成了一个覆盖范围更大的计算机网络，即互连网（internet）。互连网是“网络的网络”（必须有路由器）。网络把许多计算机连接在一起，而互联网则把许多网络通..

2.1Mapreduce工作机制2.1.1提交作业的方式通过一个简单的方法调用来运行MapReduce作业Job对象上的submit()，直接将作业提交到Hadoop平台上 调用Job对象上的waitForCompletion()方法，用于用于提交之前没有处理过的作业，等它完成，客户端会时刻打印作业执行的进度信息。（常用）2.1.2经典的Mapreduce 1运行机制包含4个独立的实体：1）Client，提交MapReduce程序到JobTracker2）JobTracker，负责

六、HA机制通过学习，我们发现，如果一个集群中的NameNode突然宕机，那么集群就不能提供服务了，因为NameNode存储了HDFS上的元数据信息，NameNode一旦宕机，其上存储的文件元数据信息会立即从内从中丢失。当客户端再次请求访问某个文件时，找不到NameNode，就找不到请求文件的元数据，即找不到请求文件的名字、地址即块列表等信息。因此对于这种情况应该如何应对？这里提出了HA机制。HA机制的基本思想是：在集群中接入两个NameNode节点，若其中一个宕机，...

五、HDFS接口（一）HDFS命令行接口HDFS命令行接口作为了解，在这里不再赘述（二）JAVA API接口使用URL访问hdfs1）怎么访问？java.net.URL可以访问文件系统，但其默认支持http协议，不支持hdfs协议2）如何支持？URL.setURLStreamHandlerFactory()方法中，添加hdfs协议对象FsUrlStreamHandlerFactory即可即java.net.URL.setURLStreamHandlerFactory(new

一、认识HDFS1.分布式文件系统当单台服务器的存储量和计算性能已经无法处理超大文件时，分布式文件系统应用而生。为存储超大文件，可将文件切分为很多“块”，并将其均匀的存储在堕胎服务器上，然后通过一套系统来维护这些“块”。当用户需要访问时，该系统将后台多个服务器上存储的“块”临时拼装，并返回给统一的客户端，用户就像是操作一台计算机一样访问该超大文件，这套系统就是“分布式文件系统”。HDFS是基于流式数据访问模式，流式数据就是将数据序列化为字节流。HDFS中存放的数据一定是流式数据，是可序列..

完成map和reduce函数的重写后，下面将其整合起来。用来把map函数和reduce函数整合起来的组件叫做作业。即：将1.txt的文本内容进行词频统计可以写一个Mapreduce的job。这个作业中包括map和reduce的处理。“map负责映射和分发，reduce负责聚合统计”。map函数和reduce函数之间是串联的关系Code：public static void main(String[] args) throws Exception { //设置配置文件 Co.

接上篇blog下面来写reduce函数。reduce函数负责将key相同的单词合并，并将对应的value值放入一个集合中，对集合中的数值进行累加。所以map函数的输出到达reduce的输入时，就变成了键值对列表的集合。 由于reduce函数也是分布式并行计算的，则需要写一个MyReducer类去继承Mapreduce框架提供的对reduce函数定义的Reducer类，然后对该类中的reduce函数进行重写。MyReducer类MyReducer类继承自reduc...

由上篇blog可知，Mapreduce架构处理问题过程中，需要map()函数和reduce()函数即可同时再添加驱动程序进行实现，本文针对该实例进行简要分析。1.创建Maven项目首先通过右键new-project-Maven-Maven Project(如下图所示)，之后一直执行Next，进行骨架选择，选择maven-archetype-quickstart骨架，之后并进行命名，本项目命名为hadoop01，并在src/main/java下建立package名为com.qst.test。之后在其下

1.1Mapreduce模型简介Mapreduce是一种可用于数据处理的编程模型，Hadoop上可以运行各种语言版本的Mapreduce程序。Mapreduce程序是并行运行的，采用了分治的思想。编程核心思想：键值对思想 Mapreduce只需要用Map和Reduce的思想即可解决问题，即编写map()和reduce()函数 Mapreduce编程的特点：开发简单 可扩展性强 容错性强1.2 Mapreduce运行机制简介Mapredu...