csdn950212的博客

一、HDFS简介        HDFS的全称是Hadoop Distributed File System，分布式文件系统。        1.HDFS的文件系统结构：        2.HDFS实现目标：兼容廉价的硬件设备、实现流数据的读写、支持大数据集、支持简单的文件模型、强大的跨平台兼容性        3.HDFS的局限性：不适合低延时数据访问、无法高效储存大量小文件

一、Hadoop简介（转自百度百科）        Hadoop是Apache基金会所开发的分布式系统基础架构。        用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。        Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特

一、三次信息化浪潮的标志                第一次：PC        第二次：互联网               第三次：大数据、云计算、物联网二、大数据关键技术       大数据特点：4V，数据量大（Volume）、数据类型多（Variety）、处理速度快（Velocity）、价值密度低（Value）。       大数据的关键技术包括：数

一、伪分布式Hadoop的配置        Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。        1.修改core-site.xml文件     ...

基本形式：hadoop fs -cmd < args >1.创建hdfs文件夹（-mkdir）hadoop fs -mkdir userhadoop fs -mkdir user/hadoophadoop fs -mkdir user/hadoop/input注意，目录只能一级一级得建，如果不存在父目录，就无法创建。 2.将本地文件上传到hdfs上（-p...

1）Hive基本数据类型首先，我们简单叙述一下HiveQL的基本数据类型。Hive支持基本数据类型和复杂类型, 基本数据类型主要有数值类型(INT、FLOAT、DOUBLE ) 、布尔型和字符串, 复杂类型有三种:ARRAY、MAP 和 STRUCT。a.基本数据类型TINYINT: 1个字节SMALLINT: 2个字节INT: 4个字节BIGINT: 8个字节BOOLEAN: TRUE/FAL...

1.修改root密码sudo passwd#重设密码，设置成功su root#输入新密码即可进入rootexit #退出root到当前用户2.修改文件名sudo mv apache-hive-1.2.2-bin hive 3.修改权限#改变拥有者和群组　chown mail:mail server.log#改变文件拥有者和群组　chown root: serv...