
Hadoop大数据
本素材为教学内容,只做交流和学习,如有侵权请联系,立即处理
Long_UP
随便写的,水平一般,都是学校学的知识,怕忘记写的,我自己能看的懂就行,有些太久用不到,该忘的都忘了。侵权请联系删除。
展开
-
NoSQL与关系数据库的比较
表中给出了NoSQL和关系数据库( Relational DataBase Management System, RDBMS )的简单比较,对比指标包括数据库原理、数据规模、数据库模式、查询效率、一致性、数据完整性、扩展性、可用性、标准化、技术支持和可维护性等方面。从表中可以看出,关系数据库的突出优势在于,以完善的关系代数理论作为基础,有严格的标准,支持事务 ACID 四性,借助索引机制可以实现高效的查询,技术成熟,有专业公司的技术支持;其劣势在于,可扩展性较差,无法较好地支持海量数据存储,数据模型过于死板原创 2020-05-21 20:51:04 · 2776 阅读 · 0 评论 -
Hadoop安装Java环境不一致的问题
Hadoop安装Java环境变量因为用的是CentOS7镜像,安装java环境会安装两个版本,有1.8和1.7的两个版本,如果设置正确的话,$JAVA_HOME/bin/java -version 会输出 java 的版本信息,且和 java -version 的输出结果一样,下图是不一样的状况。若出现版本不同的问题rpm -qa|grep java --检查jdk如下图所示,所有的版本号都已经显示出来紧接着我们需要卸载1.8的版本(全部的1.8的jdk都卸载)用 sudo rpm -e -原创 2020-05-15 22:02:56 · 1047 阅读 · 0 评论 -
数据存储单位之间的换算关系
单位换算关系Byte(字节)1Byte=8bitKB(Kilobyte,千字节)1 KB=1024 ByteMB(Megabyte,兆字节)1 MB=1024 KBGB(Gigabyte,吉字节)1 GB=1024 MBTB(Trillionbyte,太字节)1 TB=1024 GBPB(Petabyte,拍字节)1 PB=1024 TBEB(Exabyte,艾字节)1 EB=1024 PBZB(Zettabyte,泽字节)1 Z...原创 2020-05-15 21:26:38 · 5102 阅读 · 0 评论 -
Hadoop HBase访问接口
HBase提供了Native Java API、HBase Shell、Thrift Gateway、REST Gateway、Pig、Hive等多种访问方式,表中给出了HBase访问接口的类型、特点和使用场合。类型特点场合Native Java API最常规和高效的访问方式适合Hadoop MapReduce 作业并行批处理HBase表数据HBase ShellHBase的命令行工具,最简单的接口适合于HBase管理Thrift Gateway利用Thrif原创 2020-05-15 21:14:29 · 1664 阅读 · 0 评论 -
Hadoop HDFS常用命令
在Linux命令行终端,我们可以利用Shell命令对Hadoop进行操作。利用这些命令可以完成HDFS中文档的上传、下载、复制、查看文件信息、格式化名称节点等操作。关于HDFS的Shell命令有一个统的格式。hadoop command [genericOptions] [commandoptions]HDFS有很多命令,其中fs命令可以说是HDFS最常用的命令,利用fs命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。该命令的用法如下。hadoop fs [genericopt原创 2020-05-14 11:16:48 · 1951 阅读 · 0 评论