focuson_的博客

说明说明1、其余的见前几篇博客，本文基于之前安装的集群安装spark，安装的节点如下（标红的为本次安装）：机器 安装软件 进程 focuson1 zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver;spark master;spark worker JournalNode; DataNode;...

添加 类型为employee，该类型位于索引megacorg，每个雇员索引一个文档，该文档包含该雇员的全部信息（面向文档），该雇员的id为1需要index、type、idcurl -X PUT -H 'Content-Type: application/json' -i http://focuson1:9200/megacorp/employee/1 --data '{ "first_nam...

安装启动：进入focuson1的/usr/local/src/elasticsearch上传压缩包elasticsearch-6.2.4.zip并解压安装ik中文分词器插件（分词器插件和elasticsearch有对应版本，如果没有按照对应版本，会报错，具体对应版本见GitHub）./bin/elasticsearch-plugin install https://github.com/medcl...

regionServer之zookeeperregionServer在zookeeper上创建一个短暂的临时节点，通过一个会话session与zookeeper建立链接，zookeeper是通过heartbeat来为活跃的会话维护创建的短暂的临时节点；zookeeper留存了服务器健康状态和是否可用的信息，HMaster监视这些节点以发现可用的RegionServer以及可能的服务器故障；如果Re...

a

zookeeper应用：You can use it off-the-shelf to implement consensus, group management, leader election, and presence protocols. And you can build on it for your own, specific needs.集群节点为什么建议奇数个？...

hadoop的MRv1JobTracker接收client端提交的任务；分配任务给TaskTracker；监控TaskTracher；TaskTracher执行JobTracher分配给自己的任务缺点：计算资源和计算模型的管理调度耦合。即JobTracker自己资源调度、并监控管理TaskTracker集群的资源受jobTracker的能力限制不是一个通用框架，只是针对hadoop的mrhadoo...

工作这么久了，想把hadoop生态圈有关的东西整理一下，把之前会的整理一下，不会的再自己摸索一下。预计分为两个阶段：一、完全分布式平台搭建（zookeeper平台的搭建、hadoop平台的搭建、hbase平台的搭建、spark平台的搭建、hive平台的搭建），二、使用和原理剖析（分别为zookeeper、hadoop、hbase、spark、hive），之后会涉及到redis、kafka、flum...

说明说明一：此篇为大数据部分第二篇，第一篇见戳链接https://blog.youkuaiyun.com/focuson_/article/details/80153371，机器的安装准备说明和zookeeper的安装已经在上一篇博客中说明。说明二：本文为hadoop的安装，集群分布情况设计为：机器 安装软件 进程 focuson1 zookeeper，hadoop namenode，hadoop Da...

说明zookeeper和hadoop在头两篇文章已经介绍了，本文基于之前安装的集群安装hbase，安装的节点如下（标红的为本次安装）：机器 安装软件 进程 focuson1 zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver JournalNode; DataNode; QuorumPeerM...

spark原理解析解析一：resilient distributed dataset (RDD)resilient distributed dataset (RDD):弹性分布式数据集，有容错机制可并行执行。分布式即体现在每个rdd分多个partition，每个partition在执行时为一个task，会被master分配到某一个worker执行器（Executor）的某一个core中。弹性体现在...

Filebeat（基于6.5版本） 概述filebeat的由来Logstash是ELK（ElasticSearch、Logstash、Kibana）组件中的一个。这三个组件往往是配合使用的：ES负责数据的存储和索引，Logstash负责数据采集和过滤转换，Kibana则负责图形界面处理；之后，这三个组件又先后被收购于Elastic.co公司名下因为logstash是jvm跑的，资源...