广彐水厂-优快云博客

原创大数据开发之Hadoop前置准备

视频教程：https://mp.weixin.qq.com/s/sTcyhn5hCYD6ThqZOR6g1Q自行准备：XShell或Putty、VMware、CentOS7虚拟机、Linux基础1.创建自定义用户以root用户身份先创建组和用户[root@xk1181259634]# groupadd [-g 1124] hadoopenvcat /etc/group[root@x...

2020-04-20 09:33:45 536 1

前置准备CentOS7、jdk1.8、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：大数据开发之Hadoop前置准备Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程一、集群规划下面的步骤我们将实现把hadoop04动态上线，再将hadoop04动态下线二、启动现有集群

2020-06-26 10:26:43 798

原创 Web Scraper爬虫

前置准备chrome浏览器、Web Scraper-0.2.0.18一、插件安装打开chrome浏览器，地址栏内输入：chrome://extensions/，点击加载已解压的扩展程序，选择webscraper 加载完成后，在页面鼠标右击选择检查(或F12)，可以看到Web Scraper选项插件以及视频中sitemap下载地址：https://wwa.lanzous.com/b02b87nda，密码:5rjv二、数据爬取2.1 选取目标网址这里我以bilibili为例进行演示，我

2020-06-24 17:25:24 626

原创 DBeaverEE连接MongoDB-4.2.8

前置准备CentOS7、mongodb-4.2.8、DBeaverEE-6.3.0想要完成本期视频中所有操作，需要以下准备：MongoDB安装及基本使用-视频教程一、配置修改进入 MongoDB 安装目录的 bin 目录，新增mongodb.conf文件，文件内容如下# bind_ip标识允许连接的客户端IP地址，此处设为0.0.0.0，表示允许所有机器连接。也可设置特定机器的IPbind_ip=0.0.0.0二、连接2.1 启动MongoDB服务[xiaokang@hadoop

2020-06-18 09:07:03 9125 1

原创大数据常用shell脚本之ha-flink脚本

一、前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之kf脚本编写-视频教程大数据常用shell脚本之fl脚本编写-视频教程大数据常用shell脚本之ha-spark脚本编写-视频教程HA(高可用

2020-06-13 07:45:28 548

原创 HA-Flink集群环境搭建(Yarn模式)

前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建

2020-06-12 10:19:03 451

原创 HA-Flink集群环境搭建(Standalone模式)

前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建

2020-06-11 07:47:07 478

原创 Flink集群环境搭建(Standalone模式)

前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程一、集群规划

2020-06-09 07:32:36 735

原创 Flink-Local模式环境搭建

一、前置准备CentOS7、jdk1.8、flink-1.10.1想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之zk脚本编写-视频教程二、环境搭建2.1 下载并解压下载 Flink 安装包，这里我下载的是flink-1.10.1-bin-scala_2.11.tgz。下载地址：https://flink.apache.org/zh/downloads.html# 解压[xiaokang@hadoop ~]$ t

2020-06-07 19:23:34 653 1

原创 Hive更换Spark引擎

一、前置准备CentOS7、jdk1.8、hive-2.3.6、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive想要完成本期视频中所有操作，需要以下准备：Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程Linux下Hive的安装DBeaverEE连接Hive-2.3.6-视频教程HA-Spark集群环境搭建(Standalone模式)-视频教程二、简单了

2020-06-06 06:36:25 4258 1

原创 DBeaverEE连接Hive-2.3.6

前置准备CentOS7、jdk1.8、hadoop-2.7.7、hive-2.3.6、DBeaverEE-6.3.0想要完成本期视频中所有操作，需要以下准备：Linux下Hive的安装Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程一、配置修改1.1 core-site.xml[xiaokang@hadoop01 ~]$ vim /opt/

2020-06-03 20:19:04 465

原创大数据常用shell脚本之ha-spark脚本

一、前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之kf脚本编写-视频教程大数据常用shell脚本之fl脚本编写-视频教程HA(高可用)-Hadoop集群环境搭建视频+图

2020-06-03 11:18:01 337

原创 HA-Spark集群环境搭建(Yarn模式)

前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)

2020-06-02 08:42:52 397

原创 HA-Spark集群环境搭建(Standalone模式)

前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)

2020-06-01 06:42:26 427

原创 Spark集群环境搭建(Standalone模式)

前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+

2020-05-31 18:57:53 463

原创 Spark-Local模式环境搭建

一、前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建-视频教程大数据常用shell脚本之zk脚本编写-视频教程二、环境搭建2.1 下载并解压下载 Spark 安装包，这里我下载的是spark-2.4.5-bin-hadoop2.7.tgz。下载地址：http://spark.apache.org/downloads.html# 解压[xiaokang@hadoo

2020-05-30 07:19:39 481

原创大数据常用shell脚本之fl脚本

一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1、flume-1.9.0想要完成本期视频中所有操作，需要以下准备：Flume安装及基本使用-视频教程Kafka集群环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程大数据常用shell脚本之kf脚本编写-视频教程二、简单了解nohup可以在你退出帐户/关闭终端之

2020-05-25 10:03:05 1284

原创大数据常用shell脚本之kf脚本

一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1想要完成本期视频中所有操作，需要以下准备：Kafka集群环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程大数据常用shell脚本之ha-hadoop脚本编写-视频教程二、脚本源码#!/bin/bash#作者：小康#描述：Kafka集群启动停止以及查看状态脚本#微信公众号：小康新鲜事儿USAGE="使用方法：sh kf

2020-05-23 17:50:29 447

原创大数据常用shell脚本之ha-hadoop脚本

一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备：HA(高可用)-Hadoop集群环境搭建视频+图文教程大数据常用shell脚本之分发脚本编写-视频教程大数据常用shell脚本之zk脚本编写-视频教程二、简单了解KaTeX parse error: Undefined control sequence: \* at position 1: \̲*̲表示传递给函数或脚本的所有参数…*”会将所有的参数

2020-05-23 17:49:59 459

原创大数据常用shell脚本之zk脚本

一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Zookeeper单机环境和集群环境搭建视频+图文教程Hadoop完全分布式集群环境搭建-视频教程大数据常用shell脚本之分发脚本编写-视频教程二、简单了解登录式 Shell，采用用户名密码，比如 xiaokang 登录，会自动加载/etc/profile非登录式 Shell，采用 ssh 比如 ssh hadoop02 登录，不会自动加载/etc/profile

2020-05-23 17:48:23 733

原创大数据常用shell脚本之分发脚本

一、前置准备CentOS7、jdk1.8、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备：Hadoop完全分布式集群环境搭建-视频教程二、简单了解basename：会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来dirname：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分）Shell数组用括号来表示，元素用空格符号分割，Shell中使用@ 或 * 可以获取数组中的所有元素rsync是根据自己独特的算法

2020-05-23 17:47:34 626

原创 Hive更换Tez计算引擎

一、前置准备CentOS7、jdk1.8、hive-2.3.6、hadoop-2.7.7、tez-0.9.2想要完成本期视频中所有操作，需要以下准备：Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程Linux下Hive的安装二、简单了解用Hive直接编写MR程序，假设有4个有依赖关系的MR作业，上图中，蓝色代表MapTask，绿色代表ReduceTask，云状表示中间结果持久化到磁盘Tez可以将多

2020-05-18 07:55:00 1182

原创 Flume 整合 Kafka

一、前置准备CentOS7、jdk1.8、flume-1.9.0、zookeeper-3.5.7、kafka_2.11-2.4.1想要完成本期视频中所有操作，需要以下准备：Flume安装及基本使用-视频教程Zookeeper单机环境和集群环境搭建视频+图文教程docker-compose搭建Zookeeper集群Kafka集群环境搭建-视频教程二、目标这里我们监听/home/x...

2020-04-24 06:45:28 442

原创 DockerCompose搭建Zookeeper集群

一、前提条件以下所有操作会使用docker-compose来进行服务编排，前提需要安装Docker，安装教程如下：Docker安装教程（视频+图文）二、安装Docker Compose兼容性请参考官方：https://docs.docker.com/compose/compose-file/更多Compose File请参考官方：https://docs.docker.com/com...

2020-04-22 06:50:25 274

原创 Docker之镜像拉取、删除及重命名

可用镜像版本我这里给大家提供了Hadoop基础镜像、Hadoop单机伪分布式镜像以及Hadoop完全分布式镜像#Hadoop基础镜像registry.cn-beijing.aliyuncs.com/docker_xiaokang/hadoop-2.7.7:base#Hadoop单机伪分布式镜像registry.cn-beijing.aliyuncs.com/docker_xiaokang...

2020-04-22 06:49:19 3531

原创 Docker环境下HA(高可用)-Hadoop集群

一、前置准备Hadoop前置准备：Hadoop前置准备Hadoop完全分布式集群环境搭建：Hadoop完全分布式集群环境搭建Zookeeper集群环境搭建：Zookeeper集群环境搭建Docker环境下Hadoop单机伪分布式：Docker环境下Hadoop单机伪分布式-视频教程Docker环境下Hadoop完全分布式：Docker环境下Hadoop完全分布式-视频教程Docker之...

2020-04-22 06:47:35 1060 1

原创 Docker环境下Hadoop完全分布式

一、前提条件以下所有操作都基于Docker，需要Docker基础并具备Docker环境，安装教程如下：Docker安装教程（视频+图文）Docker环境下Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程二、备份和恢复镜像先将配置好的Docker容器提交为镜像：[xiaokang@hadoop docker_teach]$ sudo docker co...

2020-04-22 06:46:03 535

原创 Docker环境下Hadoop单机伪分布式

一、前提条件以下所有操作都基于Docker，需要预先安装，安装教程如下：Docker安装教程（视频+图文）软件包准备：hadoop-2.7.7.tar.gz、jdk-8u191-linux-x64.tar.gz二、编写Dockerfile[xiaokang@hadoop ~]$ sudo vim Hadoop-Single-Dockerfile#选择centos7.7.1908作...

2020-04-22 06:43:48 761

原创 Scala环境搭建

系统环境：CentOS 7.x、Windows10JDK 版本：1.8+一、Window 下搭建开发环境1. 环境准备确保 JDK8 安装成功, 并成功配置环境变量:JAVA_HOME, Path 2. 下载下载对应的Scala安装文件，我这里下载的是scala-2.11.12.zip，下载地址： https://www.scala-lang.org/download/2.11...

2020-04-21 07:38:14 265

原创 Gradle安装与配置

系统环境：CentOS 7.x、Windows10JDK 版本：1.8+Linux下jdk的安装一、Window 下Gradle安装与配置1. 下载下载对应的Gradle，我这里下载的是gradle-4.6-all.zip，下载地址： https://gradle.org/releases/2. 解压解压gradle-4.6-all.zip，我这里解压到E:\software ...

2020-04-21 07:37:28 4805

原创 Maven安装与配置

系统环境：CentOS 7.x、Windows10JDK 版本：1.8+Linux下jdk的安装一、Window 下Maven安装与配置1. 下载下载对应的Maven，我这里下载的是最新的apache-maven-3.6.3-bin.zip，下载地址： https://archive.apache.org/dist/maven/maven-3/2. 解压解压apache-mave...

2020-04-21 07:36:46 217

原创 Azkaban-multiple-executor环境搭建

multiple-executor mode（分布式多服务模式）： 1个webServer，多个executorServer分布在不同节点上，存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。该模式是最严格的生产环境。集群规划一、前置准备需要用到 Azkaban 编译后的 gz包（ azkaban-web-server-0.1.0-SNAPSHOT.tar....

2020-04-21 07:35:25 410

原创 Azkaban-two-server环境搭建

two server mode（双进程服务模式）：存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。这种模式下 webServer 和 executorServer 在不同进程中运行（同一服务器）。该模式适合生产环境，更新和升级时对用户的影响较小。一、前置准备需要用到 Azkaban 编译后的 gz包（ azkaban-web-server-0.1.0-SNAP...

2020-04-21 07:34:09 584

原创 Azkaban-solo-server环境搭建

在azkaban3.0 以后的版本，提供了3种部署模式，这三种模式的区别如下：solo-server mode（单服务模式）：元数据默认存放在内置的 H2 数据库，该模式中 webServer(管理服务器) 和 executorServer(执行服务器) 运行在同一个进程中，进程名是 AzkabanSingleServer 。该模式适用于小规模工作流的调度，适合用于尝试和了解azkaban的...

2020-04-21 07:32:22 1122 2

原创 Kafka集群环境搭建

前置准备Kafka集群需要Zookeeper集群来进行管理，需要预先安装，安装教程如下：Zookeeper单机环境和集群环境搭建视频+图文教程一、概述Kafka 由LinkedIn(领英)全球职场社交平台公司开发，贡献给Apache成为顶级项目，是一个分布式的流平台。它具有以下特点：支持消息的发布和订阅，类似于 RabbtMQ、ActiveMQ 等消息队列；支持数据实时处理；能...

2020-04-21 07:29:19 212

原创 Flume安装及基本使用

前置准备Flume 需要依赖 JDK 1.8+，并且下面有案例需要存储数据到HDFS，所以需要Hadoop集群，教程如下：Linux下jdk的安装Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程一、概述Apache Flume 是 Cloudera 公司开发，是一个分布式的、高可靠的、高可用的用...

2020-04-21 07:28:22 437

原创 Hive与HBase交互

前置准备这里需要大家预先安装 Hadoop（2.7.7）集群、Hive（2.3.6）、HBase（1.4.13）。其安装教程如下：Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程Linux下Hive的安装HBase单机伪分布式集群环境搭建-视频教程HA-HBase集群环境搭建-视频教程一、Hiv...

2020-04-21 07:27:19 237

原创 Sqoop安装及基本使用

前置准备这里我们演示 MySQL 和 HDFS 之间的数据导入导出，需要预先安装 Hadoop集群。Hadoop 集群的安装教程如下：Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程Linux下Hive的安装HBase单机伪分布式集群环境搭建-视频教程HA-HBase集群环境搭建-视频教程一、S...

2020-04-21 07:25:20 366

原创 DataX安装及基本使用

前置准备这里我们演示 MySQL 和 HDFS 之间的数据导入导出，需要预先安装 Hadoop集群。Hadoop 集群的安装教程如下：Linux下jdk的安装Linux下Python的安装-视频教程Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程一、DataX 概述DataX 是一个异构数据源离...

2020-04-20 09:49:28 1179

原创 Linux下Python的安装

系统环境：centos 7.xPython 版本：Python-3.8.01. 环境依赖Python3.x 的安装需要依赖这四个组件：gcc， zlib，zlib-devel，openssl-devel，需要大家预先安装，一次性安装四个组件命令如下：[xiaokang@hadoop ~]$ sudo yum -y install gcc zlib zlib-devel openssl-...

2020-04-20 09:48:37 232

空空如也

空空如也