- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据HBase(二)
大数据HBase学习笔记(二) Hbase的shell命令 1. help 帮助命令 help '命令名字' 2. hbase中数据库的概念 hbase中没有数据库的概念 ， 只有 namespace，我们为了方便，暂时也叫做数据库 2.1 显示所有的数据库 list_namespace 默认会有 default hbase 两个库 ...
2019-07-26 09:32:01
376
原创 大数据HBase(一)
大数据HBase学习笔记(一) HBase引言 什么是HBase？ HBase是Apache组织开源的顶级项目 distributed，scalable，big data store产品。 HBase是基于Hadoop的一个NoSQL产品，Column类型的NoSQL。 HBase是Google BigTable的开源实现。 HBase运行亿级数据查询是，效率可达秒级，甚至毫秒级，用于做在线...
2019-07-26 09:15:45
131
原创 大数据Sqoop
大数据课程第十天 Sqoop Hadoop的辅助工具 （CDH） Hadoop(CDH) 1. ip 主机名 映射 防火墙 selinux jdk ssh 2. hadoop解压缩 3. 修改hadoop相关配置文件 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.x...
2019-07-26 09:11:38
113
原创 大数据Hive
大数据Hive Hive技术 引言 什么是Hive hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目。 hive.apache.org hive是一个基于大数据技术的数据仓库技术 DataWareHouse (数仓) 数据库 DataBase 数据量级小，数据价值高 数据仓库 DataWareHouse ...
2019-07-26 09:02:47
250
原创 大数据Hadoop(三)
大数据Hadoop(三) MapReduce开发环境 （Maven ) pom.xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2...
2019-07-25 21:52:30
119
原创 大数据Hadoop(二)
大数据Hadoop(二) NameNode的持久化（persistent） NameNode在运行时，把重要的元数据放置在内存中，如果内存出现问题，则元数据丢失，为了保证元数据安全，NameNode有对应的持久化机制，把元数据持久化到硬盘存储。 FSImage 和 EditsLog 存储位置 #FSImage默认存储位置 /opt/install/hadoop-2.5.2/data/tm...
2019-07-25 21:51:30
232
原创 大数据Hadoop(一)
大数据Hadoop学习笔记(一) 大数据引言 什么是大数据？ 体量很大的数据，起步存储当量为TB级或者日均数据增长GB级。 在海量数据下，可以进行分析，挖掘，进而发现数据内在的规律，从而为企业或者国家创造价值。 大数据有什么特点？ #4v特性 1. Volume：体量大 2. Variety：样式多 数据种类多 2.1 结构化数据 2.2 半结构化数据 jso...
2019-07-25 21:50:11
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人