一个人的人生

在启动spark worker脚本中需要传入master的地址，在容器云kubernetes dns且设置了service的缘故，可以通过ecc-spark-master.ecc-spark-cluster.svc.cluster.local:7077访问。没有默认负载均衡器，可直接访问 Pod IP 地址。spark master分为两个部分，一个是类型为ReplicationController的主体，命名为ecc-spark-master.yaml，另一部分为一个service，暴露master的。

继续上一篇《基于kubernetes构建spark集群(RC模式)》，沿用上一篇rbac配置，以及PV、PVC配置，本篇将采用Deployment方式进行部署spark集群，以及增加thriftserver服务配置。1、构建镜像这里采用spark-2.4.4-bin-hadoop2.7.ta​​r.gz包部署，先解压文件到/opt/spark目录。（1）将需要第三方扩展包导入/opt/spark/spark-2.4.4 -bin-hadoop2.7/jars目录#根据自己需要导入elasticse

基于kubernetes部署spark的两种方式方式一：使用kubernetes作为集群管理器(Cluster Manager)，类似与mesos和yarn，使用方式可搜索github查看running-on-kubernetes。但这个部署方式，一是还不成熟(目前Deprecated)，不推荐在生产环境使用.方式二：standalone的方式，即便是不用集群也能很方便的调用sbin下的脚本来部署，而使用k8s有几点好处，一是提高机器使用率(一般服务器资源白天使用率较高，晚上空闲，刚好能拿来跑数据)；

1、架构规划需要增加Load balancer，使得node节点的访问流量可以负载到master类型节点。keeplive：配置虚拟IP，检查当前节点状态；haproxy：类似于niginx，负载均衡(虚拟IP会漂移到其中一个master节点)，可以平均分配流量到master1，master2；haproxy与nginx区别：nginx是master-workers多进程，每个进程单线程，多核CPU能充分利用；haproxy是多线程，单进程就能实现超高性能，虽然haproxy也能多进程，但是网上资

8、部署CNI网络8.1、node节点部署CNI（1）下载地址 https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz #并将文件拷贝到虚拟机/opt目录；（2） 文件准备 #创建文件夹 mkdir /opt/cni/bin #解压文件 tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /

1、K8s架构速览Kubernetes+是一个开源的容器编排引擎，用来对容器化应用进行自动化部署、扩缩和管理。2、整体部署流程说明（1）创建多台虚拟机，安装Linux操作系统；（2）操作系统初始化；（3）为etcd何apiserver创建自签证书；（4）部署etcd集群；（5）部署master组件；（6）部署node组件；（7）部署集群网络插件；3、 环境准备（1）安装要求一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本；硬件配置：2GB或者更多RAM，2

##4、部署kubernetes node节点###4.1、docker安装下载地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz以下所有node节点，这里采用二进制安装，用yum安装也类似；（1）解压二进制文件 tar zxvf docker-19.03.9.tgz mv docker/* /usr/bin（2）systemd管理dockercat > /usr/lib/syst

2、ApiServer自签证书apiserver通过https方式进行访问，因此需要证书自签，有两种实现方式：（1）添加可信赖的IP列表（此处使用）；（2）携带ca证书发送；（1）自签证书颁发机构(CA)接着《基于二进制方式搭建K8s集群-ETCD篇》文章，进入/TLS/k8s目录。 cd /TLS/k8s自签CA(生成CA证书和私钥）：【1】生成CA 配置文件#过期时间10年cat > ca-config.json << EOF{ "signing":

1.前置说明（1）创建多台虚拟机，安装Linux操作系统；（2）操作系统初始化；（3）为etcd何apiserver创建自签证书；（4）部署etcd集群；（5）部署master组件；（6）部署node组件；（7）部署集群网络插件；1. 部署环境（1）安装要求一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本；硬件配置：2GB或者更多RAM，2个CPU或者更多CPU，硬盘30G+；可以访问外网，以便拉取镜像，如果服务器不能上网，需提前下载镜并导入到节点；禁用s

2. K8s部署2.1、kubeadm部署kubeadm是官方社区推出的一个用于快速部署kubernates集群工具，该工具通过两条命令即可完成一个kubernetes集群的部署：（1）创建一个Master节点 kubeadm init（2）将Node节点加入到当前集群中 $kubeadm join <Master节点的IP和端口>，详细步骤如下：2.1.1、虚拟机系统配置（1）关闭防火墙 systemctl stop firewalld #临时关闭防火墙 system

1.0 Docker 使用（1）登录本地仓库docker login 仓库地址 -username xx -password(2) 搜索镜像docker images| grep 镜像名称(3)拉取镜像docker pull 镜像名称(4) 推送镜像docker push 镜像名称(4) 从当前目录Dockerfile文件构建镜像docker build -t 镜像名称:Tag . docker build -t acimagehub.com.cn/projectCode_dev