LoongKK的博客

大数据Hadoop学习文章汇总大数据Hadoop学习(1)-虚拟机准备大数据Hadoop学习(2)-Hadoop分布式集群搭建大数据Hadoop学习(12)-HDFS HA高可用配置大数据Hadoop学习(3)-HDFS操作大数据Hadoop学习(4)-MapReduce经典案例-单词统计大数据Hadoop学习(5)-ZooKeeper安装大数据Hadoop学习(6)-Kafka集群部署大数据Hadoop学习(7)-Hive安装大数据Hadoop学习(8)-HBase安装大数据Hadoo

HDFS HA高可用文章目录HDFS HA高可用1 HA概述2 HDFS-HA工作机制2.1 HDFS-HA工作要点2.2 HDFS-HA自动故障转移工作机制3 HDFS-HA集群配置3.1 环境准备3.2 规划集群3.3 配置Zookeeper集群3.4 配置HDFS-HA集群3.5 启动HDFS-HA集群3.6 配置HDFS HA故障转移1 HA概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各

Spark集群安装1 Spark安装地址1．官网地址http://spark.apache.org/2．文档查看地址https://spark.apache.org/docs/2.3.1/3．下载地址https://spark.apache.org/downloads.html2 Standalone模式安装1）上传并解压spark安装包[root@node1 module]$ tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt/softwar

Sqoop文章目录Sqoop一、Sqoop简介二、Sqoop安装及环境配置三、Sqoop命令RDBMS到HDFSRDBMS到HiveHIVE/HDFS到RDBMS(导出数据)四、脚本打包一、Sqoop简介Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。二、Sqoop安装及环境配置解压sqoop[root@node1 module]# tar -

1.实验原理Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模

HBase安装1 Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：[root@node1 zookeeper-3.4.10]$ bin/zkServer.sh start[root@node2 zookeeper-3.4.10]$ bin/zkServer.sh start[root@node3 zookeeper-3.4.10]$ bin/zkServer.sh start2 Hadoop正常部署Hadoop集群的正常部署并启动：[root@node1 ha

1 Hive安装地址1．Hive官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下载地址http://archive.apache.org/dist/hive/4．github地址https://github.com/apache/hive2 Hive安装部署1．Hive安装及配置（1）把apache-hive-1.2.1-bin.ta

Zookeeper分布式安装及客户端命令行操作分布式安装部署1．集群规划在node1、node2和node3三个节点上部署Zookeeper。2．解压安装官网下载https://zookeeper.apache.org/1）解压zookeeper安装包到/opt/module/目录下[root@node1 module]$ tar -zxvf zookeeper-3.4.6.tar....

大数据Hadoop学习(4)-MapReduce经典案例-单词统计MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行）1. Hadoop经典案例——单词统计1） 打开HDFS的UI界面，选择Utilities-Browse the file system可查看文件系统里的文件。使用-cat也可。2） 准备文本文件，执行vi word.txt指令新建...