itman_cx的博客

持续部署这里以最简单的方式进行部署，不涉及到pod的弹性升级、回滚等，也不涉及ingress统一api放行等操作前置知识点：（都是基本的搭建和简单的使用）jenkins的搭建harbor的搭建linux的免密登录gitlab+jenkins的持续集成和构建一、环境准备全部环境就放在四台服务器上面，k8s一主两从，然后所有环境放在同一台上面1. K8S环境这里是已经搭建好了的k8s集群，下次写一篇hostnameipk8s-m-t1192.168.109.11

gitlab与jenkins持续集成一、gitlab搭建以及使用gitlab一般都是用于公司代码私服仓库，保证代码的安全性搭建的，其实用法也都是跟gitee差不多（gitee上也有企业版收费的，可能功能多一点吧）1. 宝塔搭建这个方法很简单，只要安装好宝塔即可，送上安装传送门宝塔按操作登录后修改一些宝塔配置然后在软件商城下载一下东西，这里下载gitlab，有两个版本，下载其中一个就行安装好之后去设置一下端口号就行了，然后在安全组里面放行端口，如果是关闭了防火墙，那么安全组就没什么作用

准备几台服务器这里几台其实 2台虚拟机就可以了(我只是自己测试了几次，为了成功演示)准备好之后开始图解====》：配置免密ssh连接这里是需要密码的生成公钥这里的第二张图，是第一张图可能会出现的问题免密登录免密登录的原因其实看懂了最开始的原理图，这个就应该能理解了总结感谢大家阅读、互相学习；有问题评论或者发邮箱；gitee：很多代码仓库；1449697757@qq.com...

harbor的搭建下载harbor安装包所有环节都是在已经安装好了docker1.8以上和docker-compose1.25以上的版本；下载包下载这个即可，然后上传到服务器上：解压：tar -zxvf harbor-online-installer-v2.2.2.tgzcd harbor然后修改复制出来的文件：修改完成后，保存退出执行两个命令，按顺序：./prepare./install.sh执行之后就有了docker-compose.yml文件；然后执行下面命

jenkins搭建安装安装很简单，下载一个war包就行了，可以看官网的：jenkins官网这里下载，然后上传到linux上面：然后在其同级目录下创建脚本：start-jenkins.shvim start-jenkins.sh# 脚本文件（直接将其粘贴到文件中）nohup java -jar jenkins.war --httpPort=8082 >> jenkins.log 2>&1 &# 修改文件权限chmod 777 start-jenkins

centos7扩容创建物理磁盘这里只是简单的截个图，后续的步骤就是一直下一步；详细过程1. 首先查看现有磁盘情况：fdisk -l这里可以看到磁盘的信息，证明你加的磁盘已就位，等使用；可以看下这个，现在是28G磁盘（这是宝塔，不多介绍）；继续下一步：2. 使用fdisk工具操作磁盘按下面顺序操作，可参考图片fdisk /dev/sdbmp13. 创建逻辑磁卷紧接着上一步，继续输入：tL8e想了解linux lvm可以参考：linux-lvm4. 创

nexus的实际使用创建需要上传的maven工程看看这个项目，其实很简单，就是写了个工具类，然后上传到私服，这个平时在公司开发还是挺常见的；然后看看pom.xml文件：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

nexus的基本使用Search这个功能就是全局搜索一些jar然后下面几个选项就是看所有上传的jar包Browse这个是比较核心的地方了这是一些系统自带的仓库地址，还有一些是我已经配置好了的创建代理仓库如上图步骤，但是这之前可以先创建好jar包的存放位置：这里路径在你取好名字之后会自动给你一个建议的路径，一般采用建议的就行然后在去创建仓库：选取代理方式创建名字、镜像地址、存储路径maven的镜像地址：http://maven.aliyun.com/nexus/co

nexus的搭建nexus的简介其实就是简单的一句话就可概括其最常用的功能：maven私服搭建过程下载nexus的安装包，还可以使用docker去搭建，这里就不演示了，nexus安装包已经有人上传过了，所以我无法上传可以私信我，或者自己去官网下载即可我存放在：然后解压到：这里会出现两个文件夹，我们启动nexus只需关注第一个即可；cd nexus-3.19.1-01/跟nexus脚本相关的都在这：这里是启动脚本和一下配置，可以先看配置文件：nexus.rcrun_as_

一、DWD层描述

一、DWT层描述

一、DWS层描述

一、ADS层描述

一、ODS层描述

一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 关系建模与维度建模2.1.1 关系建模2.1.2 维度建模2.2 维度表和事实表2.2.1 维度表2.2.2 事实表2.3 数据仓库建模2.3.1 ODS 层2.3.2 DWD 层2.3.3 DWS 层2.3.4 DWT 层2.3.5 ADS 层三、Hive 环境准备3.1 Hive 引擎简介3.2 Hi

一、电商项目的大致流程1.1 电商业务表结构本电商数仓系统涉及到的业务数据表结构关系。这 24 个表以订单表、用户表、SKU 商品表、活动表和优惠券表为中心，延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU 商品表等，用户表提供用户的详细信息，支付流水表提供该订单的支付详情，订单详情表提供订单的商品数量等情况，商品表给订单详情表提供商品的详细信息。本次讲解只以此 24 个表为例，实际项目中，业务数据库中表格远远不止这些。二、业务数据生成

一、zookeeper的基本概念

一、kafka基本概念

数据采集环境Zookeeper集群kafka集群flume集群zookeeper环境搭建zookeeper的基本概念Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

1. NoRouteToHost在使用nfs进行数据挂载的时候，出现上述问题，是因为防火墙的问题，所以只需要关闭防火墙即可centos7：# 查看防火墙的状态systemctl status firewalld.service# 执行后，出现 绿色字体active（running），证明防火墙开启中# 关闭防火墙（开机的时候防火墙还是会重启）systemctl stop firewalld.service # 永久关闭systemctl disable firewalld.servic

hadoop安装与搭建集群规划服务器 hadoop102服务器 hadoop103服务器 hadoop104HDFSNameNode DataNodeDataNodeDataNode SecondaryNameNodeYarnNodeManagerResourcemanager NodeManagerNodeManager环境准备依旧是前面搭建jdk环境的三台主机，为了之后集群之间的文件传输，所以之后会使用集群分发脚本，可以参考这篇博客：大数据-集群分发

环境准备虚拟机准备  三台虚拟机Centos7（有条件的是最好三台都是8G内存4核8线程的），最低配置要求4G、4核4线程，如果配置太低，后面hive on spark等计算会很卡；  创建虚拟机就不讲解（或者之后写一篇），可自行了解，最小化还是桌面级的安装都可以、保持网络通畅就行；网络配置  ping www.baidu.com；出现这样的就可以了，首先是查看自己的网卡配置：vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethe

学习大数据的契机原因  在学习之前的是一直在干java开发的，但是手头上有个比较大的项目，本来是到9月底的样子就应该结束的，但后面需求变更，导致系统需要大改，之前的那批人也都走的差不多了（几个团队一起开发），所以到后面系统的整体架构的任务就交到我手上来了。  刚开始还好，慢慢改整体逻辑架构，其中从其他人代码中也学到了很多东西，可是过了一个来月的开发周期，11月的时候，也开发的差不多了，后面很多都是简单的逻辑处理，而且写得我很安逸，几乎遇不到什么问题了，这个感觉很不爽，然后优化完一些sql，写了一些异步

编写集群分发脚本xsync三台机器已做好域名解析（hadoop102、hadoop103、hadoop104）scp（secure copy）安全拷贝scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）基本语法# 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称 scp -r $pdir/$fname $user@hadoop$host:$pdir/$

在使用linux不是minio或者docker部署minio的时候，由于时间的问题，会出现：error occuredErrorResponse(code=AccessDenied, message=Access denied, bucketName=gyt, objectName=null, resource=/gyt, requestId=1631E3F520539F19, hostId=null)request={method=HEAD, url=http://minio.goyoto.cn/g

minio 出现the server’s time is too large这是因为本地环境的时区和linux上的时区不一致，导致无法上传成功先查看自己win上的时区，一般都不会有问题查看linux上的时区date下载时间同步插件yum -y install ntp ntpdate设置时间同步(与网络时间同步)ntpdate cn.pool.ntp.org写入硬盘hwclock --systohc...