CodeAsWind

一，关闭selinux和firewalld # setenforce 0 # systemctl stop firewalld # sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config # systemctl disable firewalld 二，禁用swap # swapoff -a 三，安装docker 这里可能会碰到yum源的问题，建议改成国内的源，速度比较快 # yum -y install yu

前提： 已经安装运行Kubernetes集群 安装步骤： 1: 启动Zookeeper服务 ZooKeeper是一个分布式协调者服务，Strorm使用它来作为引导程序和存储运行状态数据 使用examples/storm/zookeeper.json来创建一个运行ZooKeeper服务的pod。 kubectl create -f xxxx/zookeeper.json 然后使用...

概念： Flink 由Job Manager和Task Manager两个部分组成，Job Manager负责协调流处理作业，管理作业的提交以及生命周期，并把工作分配给任务管理器。任务管理器执行实际的流处理逻辑，同一个时间只能一个活跃的Job Manager，但可以有多个Task manager。 Flink还引入Checkpoint机制，来周期性记录各种流处理操作的状态，并且进行持久化存储，...

目的： hive 可以基于hadoop mr或者Spark进行高层次的数据处理 前提： 安装之前先要保证hadoop的目录可以为root用户读写： hadoop fs -chown root:root / 1: 构建镜像 下载依赖 mkdir -p hive/image-build cd hive/image-build wget http://download.oracl...

目的： Terasort测试Kubernetes平台对于Spark计算过程 前提： 从HDFS读取能力 向HDFS写入能力 shuffle中网络读写能力 1:准备工作 获取代码 git clone https://github.com/ehiggs/spark-terasort.git 修改编译配置 指定合适的spark和scala版本 <propertie...

目的： 通过hadoop的共享目录，可以将Spark运行的状态通过运行在Kubernetes的History Server进行展示和跟踪。 前提： 保证Hadoop HDFS已经顺利运行并且事先在hdfs建立如下目录： hadoop fs -mkdir ／eventLog 在Kubernetes安装Spark History Server 1:获取chart代码 git ...

目的： 通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务 1: 安装环境和编译 安装SBT curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ yum install -y sb...

概念： 版本2.3.0起，Spark开始支持采用Kubernetes作为native的资源调度器； 使用Kubernetes作为原生调度器需要满足如下的前提条件： Spark 2.3+ Kubernetes 1.6+ 有增删改查POD的能力 Kubernetes配置了DNS 和传统的Spark运行方式一样，通过spark-submit向Kubernetes提交任务，只是将maste...