qq_41924766的博客

CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启

CHD大数据平台搭建之HBASE集群搭建一、集群规划二、下载三、安装及配置四、启动五、jps验证一、集群规划参考CHD大数据平台搭建之集群规划二、下载1.官网下载2.网盘下载 提取码：cdh5网盘是chd配套版本，官网的事apache版本三、安装及配置1、解压tar -zxvf hbase-1.2.0-cdh5.7.6.tar.gz -C /opt/modules/2、新建文件夹mkdir -p /opt/modules/hbase-1.2.0-cdh5.7.6/datas3

CHD大数据平台搭建之SPARK集群搭建一、安装规划二、下载1.引入库2.读入数据三、安装及配置总结一、安装规划示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、下载1.引入库2.读入数据三、安装及配置总结提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。...

CHD大数据平台搭建之KAFKA安装一、安装规划二、下载KAFKA三、安装及配置1、先安装zookeeper2、解压3、新建文件夹4、修改config目录server.properties文件5、配置环境变量6、分发文件四、启动1、启动命令2、验证总结一、安装规划请参考CHD大数据平台搭建之集群规划二、下载KAFKA1.官网下载2.网盘下载 提取码：cdh5注意事项：网盘的是配套的scala和kafka，自行下载注意版本要匹配三、安装及配置1、先安装zookeeper请参考CHD大数据

CHD大数据平台搭建之SCALA安装一、下载二、安装及配置1.解压2.配置环境变量三、验证一、下载1、官网下载2、网盘下载 提取码：cdh5二、安装及配置1.解压tar -zxvf scala-2.11.8.tgz -C /opt/modules/2.配置环境变量1、编辑配置文件vi /etc/profile2、添加如下内容# SCALA_HOMEexport SCALA_HOME=/opt/modules/scala-2.11.8export PATH=$PATH:$SCA

CHD大数据平台搭建之FLUME安装一、下载二、安装及配置1.解压2.重命名文件夹3.修改配置文件一、下载1、官网下载2、网盘下载 提取码：cdh5备注：官网下载的是apache版本，网盘的是cdh5.7.6的版本二、安装及配置1.解压tar -zxvf flume-ng-1.6.0-cdh5.7.6.tar.gz -C /opt/modules/2.重命名文件夹mv apache-flume-1.6.0-cdh5.7.6-bin flume-1.6.0-cdh5.7.63.修改配

CHD大数据平台搭建之HIVE安装前言一、下载二、安装1.解压2.配置3.启动4.注意前言一、下载1、官网下载2、网盘下载 提取码：cdh5备注：官网下载的是apache版本，网盘的是cdh5.7.6的版本二、安装1.解压tar -zxvf hive-1.1.0-cdh5.7.6.tar.gz -C /opt/modules/2.配置1、进入配置文件夹：cd /opt/modules/hive-1.1.0-cdh5.7.6/conf2、重命名文件mv hive-env.sh.

CHD大数据平台搭建之MYSQL安装一、MYSQL安装1.检查是否安装mysql2.基于yum安装2.基于rpm包安装1、下载rpm包2、安装3.mysql服务命令4.开机自启5.查看初始密码6.登录mysql7.修改密码8.删除其他登录9.授权所有机器登录10.刷新权限一、MYSQL安装1.检查是否安装mysql rpm -qa | grep mysql2.基于yum安装1.检查当前环境是否已安装MySQLrpm -qa | grep mysql2.安装MySQLyum instal

CHD大数据平台搭建之xsync分发脚本前言一、安装rsync二、编写xsync脚本1.新建bin文件夹2.新建xsync文件3.编辑文件4.授权5.使用6.注意前言脚本是出自尚硅谷老师们编写的，在这里分享给大家，有需要的拿去，再次感谢尚硅谷老师们。一、安装rsyncsudo yum install -y rsync二、编写xsync脚本1.新建bin文件夹在用户家目录下新建bin目录：mkdir -p /home/hpsk/bin2.新建xsync文件touch /home/hps

CHD大数据平台搭建之ZOOKEEPER安装前言一、什么是ZOOKEEPER?二、如何下载1.官网下载(已收费)2.网盘下载三.安装Zookeeper1.安装Java2.安装Zookeeper3.添加环境变量4.分发到其他机器5.修改其他机器的myid内容四、启动Zookeeper五、验证启动总结前言本次主要是针对Zookeeper的安装及启动，安装Zookeeper需要先安装Java，需要Javaan安装教程的小伙伴可以参考CHD大数据平台搭建之JDK安装。一、什么是ZOOKEEPER?Zook

CHD大数据平台搭建之JDK安装一、安装JDK1、下载JDK2、安装JDK3、检查是否安装成功一、安装JDK1、下载JDK1、JDK8官网下载2、提供百度网盘供大家下载，提取码：cdh52、安装JDK1、下载好jdk-8u91-linux-x64.tar.gz包后，上传至服务器上2、安装，安装目录自己定义，比如我的就是：/opt/modulestar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/modules3、配置环境变量1、执行编辑命令：sudo

CHD大数据平台搭建之集群规划前言一、集群规模二、集群规划总结前言话说无规矩不成方圆，搭建CDH大数据平台之前需要的工作很多，首先，你需要计算公司每日的数据量，来确定需要多少服务器，确定好服务器之后，需要规划集群节点的分配。由于是个人搭建，不存在数据量计算，只做集群规划即可。一、集群规模每日数据量的多少，决定了服务器的数量计算规则如下：1、hdfs数据保存3份2、一般文件保存3年3、每台服务器硬盘大小8T，但会留20%左右的空闲空间所需服务器数量 = 公司每日数据量(TB) * 3 * 3

CHD大数据平台搭建之虚拟环境配置前言一、虚拟机网络配置二、虚拟机主机名配置三、SSH免秘钥登录1.引入库2.读入数据总结前言搭建大数据平台需要配置好虚拟网络环境，其中包括通外网、主机名、ssh面密钥登陆、ntp时间同步等。一、虚拟机网络配置二、虚拟机主机名配置三、SSH免秘钥登录1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sn

CHD大数据平台搭建-VMware及虚拟机安装前言一、下载所需框架二、安装(略)三、安装虚拟机1、新建虚拟机(按照操作即可)总结前言搭建大数据平台需要服务器，这里通过VMware +CentOS镜像进行模拟，供新手学习必备。一、下载所需框架VMware 和CentOS可以通过官网下载，这里我提供大家也会提供所需软件，请到百度网盘自行下载，提取码：cdh5二、安装(略)VMware安装就不演示了，简单的windows软件安装，相信大佬都会。三、安装虚拟机1、新建虚拟机(按照操作即可)1、