BOUBING112的专栏

大数据集群搭建目录概叙 41.1 引言 41.2 集群拓扑图 51.3 整体架构图 51.4 设备选型 61.5 版本选择 61.6 功能分布 7集群基础配置 72.1修改主机名 72.2 hosts主机名IP映射文件修改 72.3关闭防火墙 82.4 配置免秘钥SSH 82.5 Jdk安装 82.6 Mysql安装 8集群组件配置 93.1 Hado...

Hive安装环境1.1 Hive安装地址 1）Hive官网地址：http://hive.apache.org/ 2）文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址：http://archive.apache.org/dist/hive/...

一、Sqoop简介Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的map...

1.Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：$ ~/modules/zookeeper-3.4.5/bin/zkServer.sh start2.Hadoop正常部署Hadoop集群的正常部署并启动：$ ~/modules/hadoop-2.7.2/sbin/start-dfs.sh$ ~/modules/hadoop-2.7.2/sb...

MapReduce：MapTask & ReduceTask•MR的执行步骤–原数据 ----> split -----> (input)<k1, v1> ----->map<k2, v2> ------>shuffler-----> <k2, v2>----->reduce<k3, v3...

一：flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。二：配置文件此配置文件source为一个目录，注意，该目录下的文件应为只读，不可写，且文件名不能相...

Elasticsearch Kibana的下载地址统一为 https://www.elastic.co/downloads/问题排查可以登录https://discuss.elastic.co/c论坛查找相关信息一．安装Elasticsearch1.安装Elasticsearch集群下载elasticsearch-2.0.0.tar.gz，执行tar -zxvf elasticse...

1.修改主机名：Vi /etc/sysconfig/networkReboot2.IP与主机映射Vi /etc/hosts3.配置文件修改：Core-site.xml:<configuration><property><name>fs.defaultFS</name><value>hdfs:...

百度百度舆情：http://yuqing.baidu.com/百度指数：http://zhishu.baidu.com

1、集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意：所有的集群上都需要配置hosts vi /etc/hosts 192.168.223.100 storm01 zk01 hadoop01 192.168.223.101 storm02 zk02 hadoop02 192.168.22...