- 博客(9)
- 收藏
- 关注
RSS订阅原创 HDFS原理
HDFS原理1.“HDFS基本思想”、Namenode作用、DataNode作用见上篇文章2.HDFS启动过程：1）在NameNode主节点启动时，首先进入安全模式：1.加载fsimage，加载到内存中2.如果edits文件不为空，那么Namenode自己来合并3.检查DN的健康情况4.如果有DN挂掉了，指挥做备份2）当集群启动之时，DN会向NN发送一些信息（Block位置、DN地...
2020-01-17 16:30:19
388
原创 大数据-分布式存储HDFS总结
一、Hadoop的历史Hadoop作者：Lucene的作者dogcuttingHadoop的三驾马车：GFS（Google File System）、MapReduce、BigTableHadoop生态圈：hdfs、mapreduce、yarn、common二、HDFS的存储原理2.1各个角色的作用NameNode：1.接受客户端的读写请求2.管理元数据1）上传的文件的权限2）...
2020-01-17 16:30:07
491
原创 MapReduce详细原理
什么是MapReduce？MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对...
2020-01-17 16:29:52
1174
原创 RabbitMq简单实例教程
mq原理不再赘述，百度一下大把介绍。但很难找到简单实用易理解的实例，故写此博客。说明：本实例使用的是两个最基本的Java项目，开始吧第一步：RabbitMq实例所用到的jar包请先下载这三个jar包http://central.maven.org/maven2/com/rabbitmq/amqp-client/5.5.1/amqp-client-5.5.1.jarhttp://centr...
2019-01-09 17:21:05
2207
2
原创 在Eclipse中使用Java API操作HDFS
环境配置1.下载Hadoop压缩包解压到D盘根目录下，参考如下https://pan.baidu.com/s/13312--jSuaUPWW-I6GWAJQ2.添加环境变量变量名：HADOOP_HOME变量值：D:\hadoop\hadoop-common-2.2.0-bin-master3.添加环境变量变量名：HADOOP_USER_NAME变量值：root4.在path后加上...
2018-10-15 22:03:57
2721
1
原创 高可用完全分布式搭建
成功截图历时一天，到晚上12点，终于搭建成功高可用的完全分布式。从下午三点到晚上九点6个小时一直在找之前的搭建错误，没有成功。遂删掉四台虚拟机，准备重头开始。从晚上接近十点到晚上12点，从创建虚拟机开始，花费两个小时，成功。可见，在动手之前大脑中应该有清晰的思路才能开始下手，否则，费时费力心寒。也可以看出，该删掉重来的时候不能犹豫，毕竟经过长时间的纠错之后，已经清楚了全部的坑。上图...
2018-10-13 01:05:34
471
1
原创 Linux搭建完全分布式HDFS（CentOS 6.5）
一、配置环境1.准备四台虚拟机（CentOS 6.5），为方便后续操作，分别修改主机名为node01，node02，node03，node04（node01作为NameNode节点，node02作为SecondaryNameNode和DataNode，node03、node04作为DataNode）2.Hadoop-2.6.53.jdk1.8.0_151二、搭建完全分布式搭建前请先查看...
2018-10-11 20:01:46
583
原创 初学大数据（主要介绍分布式存储）
初学大数据（主要介绍分布式存储）1.什么是大数据？短时间内快速产生海量的多种多样的有价值的数据2.大数据中的技术①分布式存储②分布式计算（包含以下两种） 1）分布式批处理 攒一段时间的数据，然后在未来某个时间处理这批数据 2）分布式流处理 不需要攒数据，直接处理，每产生一条数据，立马对这条数据进行处理，将结果推送到前端页面存储到数据库中。（双11天猫大屏幕、QQ实时在线分...
2018-10-10 00:37:02
12613
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人