- 博客(7)
- 收藏
- 关注
RSS订阅原创 HBASE实验总结
一、实验环境3台CentOS release 6.4虚拟机，IP地址为192.168.56.101 master192.168.56.102 slave1192.168.56.103 slave2hadoop 2.7.2hbase 1.2.1hbase与hadoop的版本兼容性，参考http://hbase.apache.org/book.html#basic.prerequisit...
2019-05-26 18:23:13
3837
原创 NOSQL学习总结
一、MySQL：1.MySQL时代早年，一般网站访问量都不会太大，基本上单个简单的数据库就能解决一般的数据反问问题。那时基本更多的网站都是以静态网页的样子存在，数据动态交互的网站不是太多。以下为这种方式的通用架构（图片来源为尚硅谷Redis教程，下同）：在上图结构下，在数据存储上会出现那些瓶颈呢？1.一台机器无法满足网站数据的总大小。2.一台机器无定法存下数据的索引（B+ Tree）...
2019-05-26 17:29:02
543
原创 HDFS学习总结
HDFS：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储文件。HDFS Block：HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块。HDFS的三个节点：Namenode：用来管理HDFS的元数据。Datanode：文件系统的工作节点，负责存储元数据。Secondary Nameno...
2019-05-26 16:57:15
229
原创 MapReduce学习总结
1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词，一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。1.2 MapReduce做什么 MapRed...
2019-05-26 12:23:57
478
原创 HIVE学习总结
Hive定义Hive是FaceBook开源的用于解决海量的结构化数据统计的一个工具Hive是Hadoop的一个数据仓库，他可以把结构化的数据映射成一张表，并提供类SQL查询功能适合离线查询将SQL转换成MapReduce程序hive就是一个客户端注意 不同部门用到的hive版本可能不一样，所以我们要指定hive数据存储在hdfs的目录，来区别不同部门的不同业务需...
2019-05-26 12:02:33
232
原创 Spark实验报告
1 环境准备1.1 JDK安装1.1.1 版本 使用1.7或1.7以上版本的JDK1.1.2 安装 解压环境包：tar -zxvf jdk-7.tgz 移动到/data/下：mvjdk1.7 /data/jdk1.1.3 环境变量 执行命令 vi /etc/profile, 添加变量：...
2019-05-22 11:28:45
3226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人