ITYTI的博客

相关知识 Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。此外，Hadoop还...

打开终端模拟器，切换到/hadoop/sbin目录下，启动Hadoop cd /hadoop/sbin ./start-all.sh 注：目录根据自己情况 在/目录下创建一个test1文件夹 hadoop fs -mkdir /test1 在Hadoop中的test1文件夹中创建一个file.txt文件 hadoop fs -touchz /test1/file.tx...

相关知识 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常...

相关知识 HBase是一个分布式的，面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文”Bigtable：一个结构化数据的分布式存储系统“。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列而不是基于行模式。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。 上图描述Hadoop Ecosystem中...

相关知识 HBase Shell基本操作命令如表所示： DDL、DML、DCL介绍（这里不全部适用于HBase）： DML（data manipulation language）： 它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言 DDL（data definition language）： DDL比DM...

1. 创建数据库，切换数据库 create database testdb2; use testdb2; 技巧：一般将其优化，如果数据库存在，在创建时会报错，所以加上if no exists. create database if not exists testdb2; 2. 创建管理表 create table emp( empno int, empname string,...

相关知识 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(Mysql、Oracle...)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了Import和Export这两个工具。 Sqoop imp...

相关知识 Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是Eclipse 附带了一个标准的插件集，包括 Java 开发工具（Java Development Tools，JDT）。 Eclipse的插件机制是轻型软件组件化架构。在客户机平台上，Eclipse使用插件来提供所有的附加功能，例如支持...

相关知识 Flume是Cloudera公司的一款高性能、高可用的分布式日志收集系统。 Flume的核心是把数据从数据源收集过来再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，再删除缓存的数据。 Flume传输数据的基本单位是event，如果是文本文件，通常是一行记录，这也是事务的基本单位。 Flume运行的核心是Agent。它是一个完整的数据收集...