云计算/大数据
关注
分享
扫一扫
文章平均质量分 55
longtails
:(){ :|:& };: 术业专攻
展开
-
用kubeadm开启apiserver审计日志
用kubeadm开启apiserver审计日志用kueadm搭建了k8s集群，但为了分析集群的工作请求，查看apiserver的日志，没有其他组件的请求信息，再查发现，分析集群请求需要为组件开启审计功能。本文，将通过kubeadm工具搭建集群并开启apiserver的审计功能。并记录一下所遇到的问题。开启Audit需要配置Audit Policy,这里直接使用官方的一个Example配置ku...原创 2020-02-22 12:03:04 · 2534 阅读 · 0 评论 -
Nginx负载均衡主动健康监测
Nginx负载均衡主动健康监测准备好nginx源码和健康监测的源码。root@hw2:~# wget http://nginx.org/download/nginx-1.14.2.tar.gz--2020-02-19 22:00:31-- http://nginx.org/download/nginx-1.14.2.tar.gzResolving nginx.org (nginx.org...原创 2020-02-19 22:46:03 · 1040 阅读 · 0 评论 -
公有云(华为)下的高可用负载均衡器
公有云（华为）下的高可用负载均衡器高可用负载均衡器选用方案 VIP+NGINXnodeipnode110.0.0.11node210.0.0.12node310.0.0.13VIP 10.0.0.10在虚拟机上很容易操作，详情参看在京奋斗者的 nginx和keepalived实现nginx高可用但是在公有云上就有些问题了，买了三台服务器部署在同...原创 2020-02-18 18:32:29 · 1682 阅读 · 1 评论 -
kubeadm安装k8s
kubeadm安装k8s之前的博客记录着断断续续的问题，有很多其实是理解上的问题，比如kubelet的配置管理，如果用kubeadm来管理，就应使用apt源的方式安装k8s tools，而不是手动下载二进制文件，否则kubelet的systemctl service就是空的需要手动配置很麻烦，再比如主机有多张网卡，需要通过apiserver-adverstied参数指定，公有云的虚拟主机没有公网...原创 2020-02-17 18:14:13 · 968 阅读 · 0 评论 -
kubeadmV1.14.6启动k8s的一次爬坑
kubeadmV1.14.6启动k8s的一次爬坑熟练的打开ubuntu上的代理，下载指定版本v1.14.6的k8s服务器的二进制包，设置好环境变量，kube init启动。以过往的经验，这没事问题的，况且我是从v1.11版本使用过来的。事实上呵呵。kubelet要放到/usr/bin中！kubeadm init启动集群。root@node1:~# kubeadm init --ign...原创 2019-12-13 20:23:50 · 1133 阅读 · 0 评论 -
k8s client-go 之 官方库安装测试
client-go官方库安装测试git clone git clone https://github.com/kubernetes/client-go.git查看k8s版本➜ ~ kubectl versionClient Version: version.Info{Major:"1", Minor:"14", GitVersion:"v1.14.6", GitCommit:...原创 2019-12-08 19:16:19 · 937 阅读 · 0 评论 -
docker registry检查镜像是否存在
docker registry检查镜像是否存在docker registry v2 API没有提供直接判断一个镜像是否已经存在的api，但是可以通过一些接口组合判断，这里用manifest接口判断该镜像是否已经存在测试manifests API，存在结果➜ ~ curl -X GET "http://registry:5000/v2/nginx/manifests/1.12"{ "...原创 2019-11-30 17:15:56 · 6509 阅读 · 0 评论 -
构建本地私有仓库以及通过Docker客户端交互
构建本地私有仓库以及通过Docker客户端交互本文主要讲述，如何构建私有仓库，如何使用私有仓库，如何通过docker http接口和私有仓库交互，如何通过docker go客户端和私有仓库交互。第一步构建私有仓库有较多的内容讲述这部分内容，不再赘述，详细见私有仓库· Docker —— 从入门到实践 - yeasydocker私有仓库搭建与使用实战docker run --name r...原创 2019-11-27 15:51:28 · 966 阅读 · 0 评论 -
Fabric-solo on k8s
Fabric-solo on k8s本文主要内容：为简化实验，将e2e_cli多组织，改为单组织，部署solo共识算法，此时无需kafka/zookeeper集群，另，e2e_cli demo不需要ca等将e2e_cli下orderer、peer0.org1、peer1.org1、cli等docker-compose yaml文件转化为k8s文件搭建k8s with flannel集群...原创 2019-05-09 12:43:04 · 1028 阅读 · 2 评论 -
Creating a single master cluster with kubeadm
Creating a single master cluster with kubeadm本文涉及的内容：搭建k8s单节点集群k8s网络插件flannel的使用重启集群后，网络插件无法工作的问题及解决k8s dns测试kubeadm搭建single node k8s的过程和用kubeadm搭建多节点的方法一样,但是k8s限制在master节点上部署容器，需要取消master节点的t...原创 2019-05-09 10:05:54 · 414 阅读 · 0 评论 -
原子广播
原子广播学区块链这么久，对原子广播这个早有听说，但一直不明白其具体内涵，查阅wiki，原子广播是一个分布式原语，其保证各节点收到并相同次序的消息并处理或者没有副作用的中止操作。In fault-tolerant distributed computing, an atomic broadcast or total order broadcast is a broadcast where al...原创 2019-04-10 16:49:51 · 2389 阅读 · 0 评论 -
k8s部署fabric-kafka
k8s部署fabric-kafka在k8s上部署fabric witch kafka consensus，相比之前部署fabric with solo consensus的区别就在于多了一个zk/kfk集群，在我们部署好zk/kfk后，对fabric.solo简单修改即可应用。回顾一下，fabric.solo上解决了哪些问题：docker dns，即在宿主机上启动链码容器，并保持链码容器和...原创 2019-05-18 17:53:31 · 1344 阅读 · 2 评论 -
IBM官方的Fabric on k8s部署方案
IBM官方的Fabric on k8s部署方案IBM官方提供的fabric在k8s上的部署方案，目前也只看到了solo，该方案可能也只是在测试用的，不同于其它通过nfs共享配置的方式，ibm通过k8s的pv/pvc存储实现共享配置。该方案，基本上上是纯k8s环境，无需其他修改便可直接使用，这点还是很方便的，比自己之前爬坑手动部署要可爱多了。但还有一点不确定，就是ibm是如何实例化代码的，实例化后...原创 2019-05-11 17:34:03 · 4211 阅读 · 2 评论 -
在本地集群创建StatefulSet有状态的应用
Stateful Set在k8s上部署有状态的应用是通过StatefulSets实现的。这里我们尝试部署官网的Stateful Set demo，为kfk/zk的部署做前期实验。像Deployment一样，StatefulSet也是基于容器特定的标识来管理Pod的，不一样的是StatefulSet会为每个pod保持一个标识。StatefulSet下创建的pod具有相同的配置，但每个pod都有一...原创 2019-05-16 13:49:36 · 956 阅读 · 0 评论 -
在k8s上搭建kfk-zk集群(1)
在k8s上搭建kfk-zk集群(1)kfk/zk属于有状态的应用，所以应当用StatefulSet来部署应用，但StatefulSet要比无状态的Deployment要复杂，主要表现在增加了：stable stroage，并且需要用StorageClass、PV有状态应用的网络问题，需要Headless Service,并且每个pod是有序编号的，其DNS就是name-1.headless...原创 2019-05-18 14:46:26 · 1082 阅读 · 0 评论 -
在k8s上搭建kfk-zk集群(2)
在k8s上搭建kfk-zk集群(2)这篇接zk的部署方式，整体结构是一样的，包括StorageClass、PV、HeadlessService、StatefulSet，不同的是kfk本身的配置，k8s官方没有k8s的部署教程，我在网上找到一个在k8s上部署kfk的帖子，借用其kfk的模版。StorageClass我们已经创建，直接使用local-class。root@hw1:~/zk# ku...原创 2019-05-18 14:50:23 · 609 阅读 · 0 评论 -
etcd raft cap 理解
etcd raft cap 理解label: cap、raft、etcd写这篇文章，主要是在smartx面试时，被CTO问到了一些顶层设计的问题，这让我感觉到自己对raft理解太浅了，或者说根本没理解清楚。首先raft的协议是做什么的？分布式共识算法，通过raft协议让各个节点保持状态一致；etcd基于raft来做的分布式kv数据库的目的是什么？etcd收zk的启发，基于raft协议开...原创 2019-08-31 15:34:48 · 5659 阅读 · 5 评论 -
HDFS NFS Gateway
HDFS NFS Gatewaylabel: 分布式存储、hdfs、nfs最近我们在做一些区块链可靠性的东西，在存储方面我们知道区块链的数据是只增不减的，所以就会造成磁盘占用空间持续上涨，迟早有一天会塞满真个磁盘，而我们要思考的就是如何解决这个问题。在存储这块，我们读的轮文大多是从区块、账本的数据结构优化出发的，目的就是减少磁盘占用，我一直觉得占用是少了点，但终究会沾满空间，也只是比为优化的账...原创 2019-09-11 16:09:39 · 700 阅读 · 0 评论 -
kubernetes若干问题
kubernetes若干问题在将fabric compose启动方法转为k8s启动方法中，遇到的各种问题.Q1: kubernetes exec 访问不到podroot@liu:~/dns# kubectl exec -it busybox dateError from server: error dialing backend: dial tcp 172.16.199.55:1...原创 2018-08-30 16:17:47 · 5389 阅读 · 0 评论 -
KubeEdge：如何在云端点亮您家的灯 的相关思考
KubeEdge：如何在云端点亮您家的灯的相关思考 边缘计算与KubeEdge云计算离终端设备（如摄像头、传感器等）较远，对于实时性要求高的计算需求，把计算放在云上会引起较长的网络延时、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不足，无法与云端相比。在此情况下，边缘计算应运而生，将云端计算能力延伸到靠近终端设备的边缘节点，完美解决上述问题。KubeEdge作为全球首个...原创 2019-03-19 21:52:15 · 2575 阅读 · 0 评论 -
kubeadm搭建k8s集群
kubeadm安装k8s环境节点ip系统规格k8s版本hw1(master)192.168.0.105ubuntu18.042c4g1.13hw2(slave)192.168.0.165ubuntu18.044c8g1.13准备下载k8s二进制文件，并设置环境变量下载镜像配置代理，k8s要访问谷歌的服务，详见服务器...原创 2019-02-23 18:19:22 · 754 阅读 · 0 评论 -
k8s DNS相关问题
k8s DNS相关问题 在配置好dns后，可以通过hostname访问其他pod，但是ping不通.这是正常的. 之前，部署fabric到k8s上，遇到了kafka访问不到zookeeper的情况，我一直以为是dns的 问题，配置好了core-dns,仍然访问不到zookeeper，最终是修改了kafka的manifest,才成功 访问到zookeeper.所以，这无关dns的事...原创 2018-09-02 17:30:16 · 2137 阅读 · 3 评论 -
kubernetes配置DNS
kubernetes配置DNS 之前，在搭建fabric的k8s启动方式，启动的kfk、zookeeper，解析不到服务名，虽然可以 通过修改/etc/hosts解决，但是很麻烦，并且，fabric提供的镜像，进入容器后，发现很多工 具没有，甚至不能apt安装. 所以，考虑配置DNS,这里有两个选择，kube-dns和core-dns,最先配置了kube-dns,遇到 了问题...原创 2018-09-02 12:39:20 · 3339 阅读 · 1 评论 -
在k8s上运行实例Guestbook
在k8s上运行实例Guestbook解决拉取不到谷歌k8s.gcr.io仓库镜像的问题 之前，已经搭建好k8s集群，为方便使用在ali CES服务器搭建了k8s solo.此次，在k8s上运行实例Guestbook.创建rc&service文件redis-master-controller.yamlapiVersion: v1kind: Replicati...原创 2018-08-28 21:17:38 · 1602 阅读 · 0 评论 -
关于ali CES make k8s失败问题
关于ali CES make k8s失败问题git clone 最新的kubernets代码，配置好go1.10.3环境，通过make编译Q:make后长时间没有输出，最后出现signal:killed A:git checkout release-1.11 make后，正常结束，生成的二进制文件位于_output内 经测试master/HEAD和release1.12也...原创 2018-08-23 22:59:08 · 274 阅读 · 0 评论 -
kubernetes1.11手动搭建
kubernetes1.11手动搭建本次实验手动搭建一个内部的k8s集群，即不进行认证: 1.通过vagrant和virtual box 构建vm. 2.设计为一个etcd和一个node，初步，master先不搭建node,即目前一个master和一个node.pre 一直想找一篇简单的手动搭建k8s的教程(不进行认证)，以初步学习k8s， 形成一个 简单的框架.结果，...原创 2018-08-26 12:11:11 · 2380 阅读 · 0 评论 -
分布式编程模型的设计和演化
阿里大数据平台核心技术_笔记3分布式编程模型的设计和演化数据格式和抽象概要 编程模型指编程的方式，不特指某种编程语言命令式编程 vs. 声明式编程编程模型 vs. 系统实现例子 命令式Python,声明式SQL数据 结构 关系型数据树形数据(JSON…)矩阵数据图数据非结构 图片、音频、视频等分布式编程模型关系型数据 TableRelation –...原创 2018-06-09 16:59:42 · 1860 阅读 · 0 评论 -
分布式存储-笔记
阿里大数据平台分布式存储-笔记需求 1.大存储容量 2.高吞吐量 3.数据高可靠 4.服务高可靠 5.高效运维 6.低成本 挑战 1.单机硬件/系统的不完美(小概率出错) 2.大规模下需要水平扩展(管理大量的机器)在大规模下小概率事件将成为常态，正确处理这些小概率事件是分布式存储的工程挑战小概率事件 1 ...原创 2018-06-07 22:32:10 · 986 阅读 · 0 评论 -
hadoop-错误总结
hadoop-错误总结 本来hadoop实验已经做完，打算把最后一个实验报告写完，就去自习室学习的。没想到啊，没想到~恢复虚拟机的时候slave起不来了~~slave关机重启后，master的hive操作发生了错误！并且已经将所有的服务启动，master的hadoop也关了，重新启动~没用~，最后发现，是两个实例时间不同步，以前都是虚拟机暂停的，所以服务可以使用~。mapreduce errosh原创 2017-06-14 20:54:55 · 1171 阅读 · 0 评论 -
kafka在kubernets上部署时生产消费问题
kafka在kubernets上部署时生产消费问题在kubernetes上部署fabric遇阻，定位到oderer和kafka之间有问题，详查之后，发现kafka是有问题的.问题表现在produce/consume异常上.查询资料发现，原来是kafka容器部署上的问题，该问题是对kafka和docker理解不透彻造成的.部署结构图该问题，表现在kafka docker集群对外表...原创 2018-09-09 14:37:23 · 676 阅读 · 0 评论 -
vagrant搭建hadoop集群
hadoop原本是打算用docker配置hadoop的，但是遇到了docker下centos/7 systemctl异常， 以及没有ssh的问题，遂，该用vagrant方式在virtual box虚拟机上运行环境virtual boxcentos box 文件jdkhadoop网络gw:192.168.33.1netmask:255.255....原创 2018-10-05 15:31:03 · 1131 阅读 · 0 评论 -
k8s NetworkPolicy
k8s NetworkPolicynetworkpolicy对象主要关注三个地方 第一个是绑定用的label； 第二个ingress； 第三个egress;此外，就是一些默认策略，比如禁止所有，允许所有networkpolicy[root@cce-demo1522483688765-00274 ~]# cat nwp.yaml apiVersion: networkin...原创 2018-12-31 19:52:09 · 1370 阅读 · 0 评论 -
k8s部署测试ingress
k8s部署测试ingresscka考试，有ingress的部分，但是ingress-rule好写，但是controller却有些麻烦， katacoda上有ingress部署测试的部分，但想在自己的华为cce上部署上ingress， 挺费劲的~还好成功了~~ingress controller...原创 2018-12-30 14:41:07 · 1987 阅读 · 1 评论 -
关于k8s解析不到pod dns信息
关于k8s解析不到pod dns信息这其实是自己对k8s的dns解析不理解，service和pod在k8s中的dns记录形式不同，service是通过名字的，pod是用ip的（192-168-0-1的形式）。busybox:1.28，latest版本不行apiVersion: v1kind: Podmetadata: name: busybox1spec: contain...原创 2018-12-29 17:50:08 · 10310 阅读 · 7 评论 -
关于base64
关于base64在fabric、k8s中常见到base64,对其不是很了解，查阅资料发现，原来，他不是一种加密， 只是一种编码转发方法，其目的是将二进制转化为accii后，一些控制符不可见，故，通过 base64，将其转化成可见的字符，方便复制粘贴，常见于证书、邮件等。1.标准base64只有64个字符（英文大小写、数字和+、/）以及用作后缀等号；2.base64是把3个字节变成...原创 2018-12-22 11:12:21 · 504 阅读 · 0 评论 -
如何快速创建k8syaml文件模板
如何快速创建k8syaml文件模板通过dry-run导出--dry-run参数，运行 Dry 打印相应的API对象而不创建它们。创建yaml模板deploy[root@zjucst-52668 ~]# kubectl run http --image=katacoda/docker-http-server:latest --replicas=1 --dry-run -...原创 2018-12-21 11:31:42 · 4473 阅读 · 0 评论 -
k8s svc负载均衡
k8s svc负载均衡run创建deploy[root@zjucst-52668 ~]# kubectl run http --image=katacoda/docker-http-server:latest --replicas=1 -n ckaexpose创建svc，暴露ip端口,并且为其配置虚拟网卡[root@zjucst-52668 ~]# 274 kubec...原创 2018-12-21 10:55:21 · 5029 阅读 · 0 评论 -
k8s指定外部ip暴露端口访问不通问题解决
k8s通过svc暴露端口 跟着katacoda k8s教程走，自己换了一个external-ip发现访问不了，通过ifconfig查 看，教程中的172.17.0.58,是一个配置好的网卡ip,但自己随意自定的没有网卡配置。之所以随意指定ip，是感觉k8s划分的172.17的ip段，以为可以用，但这个ip段应该是k8s 集群pod内使用的，而要暴露的ip应该是集群pod外，不经经过p...原创 2018-12-21 10:45:34 · 22933 阅读 · 0 评论 -
跨docker容器组通信
跨docker容器组通信 之所以要进行容器组通信，是因为之前，k8s上部署fabric，kafka没有部署成功，所以想 fabric直接使用本地部署的kafka。 但发现，k8s上部署的容器ip是172.17.*.*,kafka的网络e2e_default是172.18.*.*。 由于docker的网络隔离，两个ip段的容器组没法直接通信，互相ping不通，但宿主机是可以 ...原创 2018-09-29 21:51:25 · 719 阅读 · 0 评论 -
win_eclipse_hadoop2.5.2_WordCount测试用例
win_eclipse_hadoop2.5.2_WordCount原创 2017-05-17 12:55:21 · 704 阅读 · 0 评论