modi_2020-优快云博客

原创 OGG-01431 OGG-01003 OGG-01151 报错

OGG进程报错，查看报错信息如下 :解决思路如下：(1) 比对源端和目标端的表结构字段相关信息(主键索引以及字段顺序)！(表面看没问题)(2)查看def文件定义是否有问题(没问题)(3)尝试用报错用户重新生成def文件查看表结构相关信息看到提示无主键，说明主键失效！重新创建主键即可！...

2021-05-26 09:43:08 2553

原创大数据技术之 Hadoop（HDFS）

HDFS 概述1.1 HDFS 产出背景及定义1）HDFS 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。2）HDFS 定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集

2021-03-22 00:17:02 773

原创 Hadoop集群启动/停止方式

1.各个模块分开启动/停止（配置 ssh 是前提）（1）整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh（2）整体启动/停止 YARN start-yarn.sh/stop-yarn.sh2. 各个服务组件逐一启动/停止（1）分别启动/停止 HDFS 组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode（2）启动/停止 ...

2021-03-20 23:13:39 1710

原创 Hadoop简介和集群搭建测试(一)

Hadoop的优势有四高：(1) 高可用:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据，可方便的扩展数以千计的节点(3) 高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度(4) 高容错性:能够自动将失败的任务重新分配。Hadoop组成：HDFS 架构概述:Hadoop Distributed File System，简称 HDFS，是...

2021-03-20 23:01:25 793

转载 Shell脚本实现俄罗斯方块小游戏

Shell脚本实现俄罗斯方块小游戏(转自：http://blog.51cto.com/lizhenliang/1687612)#!/bin/bashAPP_NAME="${0##*[\\/]}"APP_VERSION="1.0"#颜色定义iSumColor=7 #颜色总数cRed=1 #红色cGreen=2 #绿色cYellow=3 #×××cBlue=4 #蓝色cFuc.

2021-03-07 00:38:04 698 2

转载查看linux系统性能瓶颈(转)

Shell脚本查看linux系统性能瓶颈(转自：http://blog.51cto.com/lizhenliang/1687612)#!/bin/bash#os_check() { if [ -e /etc/redhat-release ]; then REDHAT=`cat /etc/redhat-release |cut -d' ' -f1` else DEBIAN=`cat /etc/issue

2021-03-07 00:33:59 334

原创 centos6.9离线安装ansible

(1)下载Python-2.7.8版本的压缩包[root@machine-app1 ~]#wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz[root@machine-app1 ~]#tar xvzf Python-2.7.8.tgz[root@machine-app1 ~]# cd Python-2.7.8[root@machine-app1 ~]#./configure --prefix=/usr/local[roo.

2021-03-06 12:56:19 537

原创 Docker常用操作

安装docker----epel源yum install -y epel-release----安装yum集成的实用程序集合yum install -y yum-utils ----获得docker-ce的yum仓库yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo ----列出docker版本信息yum list docker-ce --show-

2021-02-21 10:35:32 819

原创根据kubelet.kubeconfig文件解析到证书

证书分发四步结束之后会有kubelet.kubeconfig生成,查看kubelet.kubeconfig配置文件中的client-certificate-data部分如下：利用base64反解析出证书，如下:[root@hdss-1-200 certs]# echo "LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUR3akNDQXFxZ0F3SUJBZ0lVS3UvL21KOWtNN0ZweHJUUUZRRStBNEZOWU13d0RRWUpLb1p..

2021-02-12 14:38:42 1472

原创 k8s -- kube-proxy

部署kube-proxy集群规划主机名角色 ipHDSS7-21.host.com kube-proxy 192.168.153.21 HDSS7-22.host.com kube-proxy 192.168.153.22签发生成证书签名请求（CSR）的JSON配置文件(vi /opt/certs/kube-proxy-csr.json){ "CN": "system:kube-proxy", "key": {

2021-02-12 13:17:40 325

原创 k8s --etcd 集群检测异常( could not connect: x509)

etcd集群单节点检测正常[root@hdss-1-12 etcd]# supervisorctl statusetcd-server-1-12 RUNNING pid 13282, uptime 0:00:42集群节点检测报错如下:[root@hdss-1-12 etcd]# ./etcdctl member listclient: etcd cluster is unavailable or misconfigured; error #0: dia...

2021-02-11 18:16:34 3268

原创 k8s -- 部署主控节点控制器/调度器服务

安装部署主控节点控制器/调度器服务集群规划主机名角色 iphdss-1-21.host.com controller-manager 192.168.1.21hdss-1-22.host.com controller-manager 192.168.1.22注意：这里部署文档以hdss-1-22.host.com主机为例，另外一台运算节点安装部署方法类似编辑kube-controller-manager.sh执行脚本[roo

2021-02-10 15:04:34 306

原创 k8s -- nginx反向代理

安装部署主控节点4层反向代理服务,部署在hdss-1-11 hdss-1-12机器上，用VIP 192.168.1.10的7443端口，反代hdss-1-21、hdss-1-22的apiserver6443端口nginx配置(四层反向代理)HDSS-1-11和HDSS-1-12上同时操作，安装nginx，在配置文件最后追加反向代理的配置[root@hdss7-11 ~]# yum install -y nginx [root@hdss7-11 ~]# vi /etc/nginx/nginx.

2021-02-10 13:03:37 2799

原创 k8s -- APIServer(主控节点)

部署kube-apiserver集群集群规划主机名角色 ipHDSS1-21.host.com kube-apiserver 192.168.16.13HDSS1-22.host.com kube-apiserver 192.168.16.14HDSS1-11.host.com 4层负载均衡 192.168.16.11HDSS1-12.host.com 4层负载均衡 192.168.16.12注意：这里192.168.1.

2021-02-10 10:32:48 807

原创 k8s -- etcd集群部署

部署etcd集群集群规划主机名角色 ipHDss-1-12.host.com ectc lead 192.168.1.12HDss-1-21.host.com ectc follow 192.168.1.21HDss-1-22.host.com ectc follow 192.168.1.22部署master节点服务1. 在主配置服务器上生成证书编辑 ca-.

2021-02-09 19:51:01 353

原创 k8s--docker镜像私有仓库( harbor)

安装1.7.6以上版本，在200那台主配置服务器上操作1. 下载并解压导指定目录[root@hdss-1-200 src]# lsharbor-offline-installer-v1.8.3.tgz[root@hdss-1-200 src]# tar -zxvf harbor-offline-installer-v1.8.3.tgz -C /opt/harbor/harbor.v1.8.3.tar.gzharbor/prepareharbor/LICENSEharbor/insta

2021-02-09 10:27:12 1748 1

原创 k8s--docker安装

在主机与运维主机上：21、22、200 三台都要部署安装1.下载镜像[root@hdss-1-22 ~]#yum clean all[root@hdss-1-22 ~]# curl -fsSL https://get.docker.com|bash -s docker --mirror Aliyun# Executing docker install script, commit: 3d8fe77c2c46c5b7571f94b42793905e5b3e42e4+ sh -c 'yum

2021-02-09 09:58:37 420

原创 k8s--证书签发

1.准备签发证书环境运维主机 hdss-1-200.host.com上：2.安装CFSSL证书签发工具CFSSL:R1.2cfssl下载地址https://pkg.cfssl.org/R1.2/cfssl_linux-amd64cfssl-json下载地址https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64cfssl-certinfo下载地址https://pkg.cfssl.org/R1.2/cfssl-certinfo_li...

2021-02-09 09:52:47 1706

原创 k8s--bind安装

1.调整操作系统：linux内核3.10以上所有主机上：selinux关闭sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/configfirewall关闭systemctl stop firewalldsystemctl enable firewalld调整yum源：1.安装epel-releaseyum install -y epel-release2.安装必要..

2021-02-09 09:45:00 332

原创 Linux就该这么学--DNS配置

DNS域名解析服务相较于由数字构成的IP地址，域名更容易被理解和记忆，所以我们通常更习惯通过域名的方式来访问网络中的资源。但是，网络中的计算机之间只能基于IP地址来相互识别对方的身份，而且要想在互联网中传输数据，也必须基于外网的IP地址来完成。为了降低用户访问网络资源的门槛，DNS（Domain Name System，域名系统）技术应运而生。这是一项用于管理和解析域名与IP地址对应关系的技术，简单来说，就是能够接受用户输入的域名或IP地址，然后自动查找与之匹配（或者说具有映射关系）的IP地址或域名

2021-02-07 00:52:28 288 2

原创手动模式构建双 Namenode+Yarn 的 Hadoop 集群（下）

4. NameNode 与 Yarn 基础配置文件功能解读NameNode 与 Yarn 的配置中涉及的配置文件有多个，并且每个配置文件中参数众多，因此，如何设置合理的配置参数是部署 Hadoop 集群的难点。不过，Hadoop 集群有个配置原则，那就是重写配置、覆盖默认，否则默认生效。也就是说 Hadoop 的大部分配置参数都有默认值，如果在配置文件中设置了参数值时，那么默认值失效，否则生效。这个原则的存在，使我们不需要对每个参数都进行配置，只需要对一些重要的基础参数进行配置即可。所以，在下面的配

2021-02-04 00:37:34 499

原创 hadoop入门启动 journalnode报错

启动journalnode报错如下[hadoop@salve001 ~]$ hdfs --daemon start journalnodeERROR: Cannot set priority of journalnode process 74165[hadoop@salve001 ~]$查看报错日志提示2021-02-03 10:42:05,421 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to s.

2021-02-03 23:56:47 9790 3

原创手动模式构建双 Namenode+Yarn 的 Hadoop 集群（上）

双 NameNode 实现原理与应用架构1. 什么是双 NameNode在分布式文件系统 HDFS 中，NameNode 是 master 角色，当 NameNode 出现故障后，整个 HDFS 将不可用，所以保证 NameNode 的稳定性至关重要。在 Hadoop1.x 版本中，HDFS 只支持一个 NameNode，为了保证稳定性，只能靠 SecondaryNameNode 来实现，而 SecondaryNameNode 不能做到热备，而且恢复的数据也不是最新的元数据。基于此，从 Hadoop

2021-02-03 00:50:05 720

原创自动化运维工具 Ansible 在部署大数据平台下的应用（下）

1. playbook 简介与文件格式playbook 字面意思是剧本，现实中由演员按照剧本表演，在 Ansible 中，这次由计算机进行表演，由计算机安装、部署应用，提供对外服务，以及组织计算机处理各种各样的事情。playbook 文件由 YMAL 语言编写。YMAL 格式类似于 JSON 的文件格式，便于理解、阅读和书写。首先学习了解一下 YMAL 的格式，对后面书写 playbook 很有帮助。以下是 playbook 常用的 YMAL 格式规则。文件的第一行应该以“---”（三个连字符）开始，表

2021-02-02 00:45:25 445 1

原创自动化运维工具 Ansible 在部署大数据平台下的应用（上）

Ansible 命令行模式的使用Ansible 执行自动化任务，分为以下两种执行模式：（1）ad-hoc（单个模块），单条命令的批量执行，或者叫命令行模式；（2）playbook，为面向对象的编程，可以把多个想要执行的任务放到一个 playbook 中，当然多个任务在事物逻辑上最好是有上下关联的，通过多个任务可以完成一个总体的目标。命令行模式一般用于测试、临时应用等场景，而 playbook 方式，主用用于正式环境，通过编写 playbook 文件，可实现固定的、批量的对系统或服务进行配置以及维

2021-02-01 17:40:34 441

原创 Hadoop的平台的构建(伪分布式)

与 Linux 有众多发行版类似，Hadoop 也有很多发行版本，但基本上分为两类，即开源社区版和商业付费版。社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系；商业版付费版是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的稳定版本，比较著名的有 Cloudera 的 CDP、CDH、Hortonworks 的 Hortonworks Data Platform（HDP）、mapR 等。在这些商业 Hadoop 发行版中，为了吸引

2021-02-01 01:21:13 369

原创 Linux就该这么学--Samba NFS的配置

SAMBA文件共享服务Samba服务程序现在已经成为在Linux系统与Windows系统之间共享文件的选择1.安装ansible[root@myserver ~]# yum install -y sambaUpdating Subscription Management repositories.Unable to read consumer identityThis system is not registered to Red Hat Subscription Management.

2021-01-31 22:36:05 309

原创 Linux就该这么学--Apache的配置

1. 在默认情况下，网站数据是保存在/var/www/html目录中，而如果想把保存网站数据的目录修改为/home/wwwroot目录[root@myserver ~]# mkdir /home/wwwroot[root@myserver ~]# echo "other directory Apache" > /home/wwwroot/index.html[root@myserver ~]# cd /home/wwwroot/[root@myserver wwwroot]# lltot

2021-01-31 12:55:39 524

原创 Linux就该这么学--网络配置

配置网络参数1.可视化操作nmtui 弹出窗口可视化操作[root@myserver ~]# nmtui然后按方向键以及回车确认操作如下:2.命令行操作：配置IP地址 ONBOOT和BOOTPROTO的参数值[root@myserver ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160查看网络信息和网络状态[root@myserver ~]# nmcli connection showNAME UUID...

2021-01-30 00:55:19 180

原创 Linux就该这么学--防火墙

策略与规则链防火墙会从上至下的顺序来读取配置的策略规则，在找到匹配项后就立即结束匹配工作并去执行匹配项中定义的行为（即放行或阻止）防火墙会从上至下的顺序来读取配置的策略规则，在找到匹配项后就立即结束匹配工作并去执行匹配项中定义的行为（即放行或阻止）。如果在读取完所有的策略规则之后没有匹配项，就去执行默认的策略。一般而言，防火墙策略规则的设置有两种：一种是“通”（即放行），一种是“堵”（即阻止）。当防火墙的默认策略为拒绝时（堵），就要设置允许规则（通），否则谁都进不来；如果防火墙的默认策略为允许时，就

2021-01-25 00:04:26 802

原创 Linux就该这么学--逻辑卷

LVM逻辑卷管理器部署逻辑卷常用的LVM部署命令功能/命令物理卷管理卷组管理逻辑卷管理扫描 pvscan vgscan lvscan 建立 pvcreate vgcreate lvcreate 显示 pvdisplay vgdisplay lvdisplay 删除 pvremove vgremove lvremove 扩展 vgextend lvext..

2021-01-24 22:24:22 272

原创 Linux就改这么学--磁盘分区

du命令：其格式为“du [选项] [文件]”。简单该命令就是用来查看一个或多个文件占用了多大的硬盘空间配置本地yum源为了防止开启启动挂盘丢失，需要在配置文件/etc/fstab加上挂载点和挂载目录添加交换分区SWAP（交换）分区是一种通过在硬盘中预先划分一定的空间，然后将把内存中暂时不常用的数据临时存放到硬盘中，为了解决真实物理内存不足的问题。但由于交换分区毕竟是通过硬盘设备读写数据的，速度肯定要比物理内存慢，所以只有当真实的物理内存耗尽后才会调用交换分区的资源查看新增磁盘是否.

2021-01-24 17:22:28 280

原创 Linux就该这么学--磁盘挂载

系统层次化标准（FHS，Filesystem Hierarchy Standard）、udev硬件命名规则以及硬盘分区的规划方法，在Linux系统中并不存在C/D/E/F等盘符，Linux系统中的一切文件都是从“根（/）”目录开始的，并按照文件系统层次化标准（FHS）采用树形结构来存放文件，以及定义了常见目录的用途。另外，Linux系统中的文件和目录名称是严格区分大小写的，为了便于定位和查找，Linux中的每个目录一般都存放特定类型的文件，下表列出了各种Linux发行版本的常见目录物理设备的命名规则

2021-01-17 21:58:20 271

空空如也

空空如也