- 博客(26)
- 收藏
- 关注
RSS订阅
原创 AWS EC2监控
一、项目背景1、项目背景 由于项目采用微服架构，从云服务定制化程度来看，利用AWS提供的基础性架构EC2比较合适。AWS自带了CloudWatch具有监听EC2功能，但是出现宕机或者达到预警阀值，需要提供发邮件或短信报警功能，需要购买CloudWatch收费项目。项目采用Docker Swarm架构，曾经自己搭建过通过Haproxy+Keepalived方式，通过反向代理来实现...
2018-09-18 20:30:39
3356
2
原创 Docker-CE Registry SSL方式安装
1、准备工作先准备好域名：dockerhub.testfit.com 和安装好Docker-CE，安装Docker-CE，这里dockerhub为testfit.com的子域名。2、Ceonts7下自制证书:mkdir -p /app/docker-registrycd /app/docker-registrymkdir -p certs && openssl r...
2018-08-24 09:59:41
390
原创 在AWS构建跨可用区域高可用Keeplived架构
1、在AWS上构建跨可用区域（AZ）高可用（HA）的Keeplived服务。Keeplived采用主从模式。架构图如下：2、去AWS IAM WEB UI控制台，创建一个角色。步骤如下： 创建角色-》选择EC2产品-》创建策略（Policy)-》服务项，选择EC2；操作添加以下API操作。DisassociateAddress，DescribeInstances，Describ...
2018-07-24 14:45:50
2025
原创 docker commit生成的镜像瘦身
删除包管理器缓存 apt-get clean rm -rf /var/lib/apt/lists/* # 删除日志文件 rm -rf /var/log/* # 删除临时文件 rm -rf /tmp/*sudo pip install docker-squash 或 sudo pip3 install docker-squash。3、安装docker squash工具，做压缩镜像准备。1、清除宿主系统的docker资源。2、清理容器内系统的临时文件和缓存。
2024-12-25 16:00:10
623
原创 MySQL基于binlog恢复数据遇到的问题
一、背景 因为在一次上线的过程中，由于上线给的数据库表表明相同，而数据库名不同，由于同事给的sql语句没有评审，并未给创建数据库语句，导致已存在生产的数据库表被重建了，被重建表的数据库表数据完全丢失。基于这种情况需要紧急恢复数据。但是，郁闷的是AWS的快照在20天前就停止了，最近的数据也只能从20天前数据为基点。恢复过程中，没有想象的恢复那么顺利，总结如下：二、方法一 基于通用方法恢复数据 基于下面这些命令，都没有成功恢复数据。$> /usr/bin/mysqlbinlog...
2021-01-08 11:40:14
650
原创 ERROR 1805 (HY000): Column count of mysql.user is wrong. Expected 45, found 43. The table is probabl
一、问题呈现mysql> create user 'turn123'@'localhost' identified by 'abcd123';ERROR 1805 (HY000): Column count of mysql.user is wrong. Expected 45, found 43. The table is probably corrupted二、解决办法1、升级配置$ /usr/bin/mysql_upgrade -uroot -p -S /var/lib..
2020-09-29 15:47:05
3225
原创 Grafana + Prometheus 服务器监控 Alert设置总结
一、Docker Swarm节点服务器负载设置 5分钟的负载报警设置，由于服务器上不同业务种类主机的cpu核算不一致。一个一个节点比较麻烦，而且后续扩容新主机，又的一个个加上麻烦。由于Docker Swarm 节点名称都是有一个某个前缀开通。某个前缀开头的代表同一类型的主机。同一类型的主机CPU，内存配置都一样。 查阅Prometheus官方文档，精确匹配用= 或 !=，模糊匹配用~ 或 !~。这里我的需求肯定是模糊匹配。.代表一个占位符合。.*代表n个占位符合。这里我以我...
2020-08-04 16:41:45
619
原创 KVS（AWS Kinesis Video Stream）HLS IOS端播放声音停顿问题解决办法
在项目中，我们利用KVS Stream方案来做云存储，看起来很简单，由于KVS是aws新推出的一个产品，坑很多。我们和aws填了很多坑。在项目开发中，我们的APP端，通过浏览器播放，HLS流的时候（其实就是一个m3u8的链接），android正常，但是ios用自带的Safari浏览器或自带的播放方案都会出现声音停顿的现象。当时IOS开发项目组，都觉得解决不了，我也是不信邪，既然android播放正常，ios肯定可以找到解决方案。经过尝试，得用用集成了ffmpeg解码KVS HLS流才能解决问题。...
2020-05-09 10:37:18
1086
原创 Docker java程序jvm分析
由于我项目制作的java运行镜像都是基于anapsix/alpine-java，这个是目前最小的java镜像，jdk的版本是1.8的。anapsix/alpine-java是一个jre的镜像，如果你要做jvm分析，需要准备tools.jar,jstat,jmap文件。下面就是我的实际操作步骤。一、准备tools.jar,jstat,jmap 并拷贝到docker容器里面 我这里只用到jstat和jmap，jstat用于在容器里面直接观察jvm状况。jmap用于生成heapdump文件，...
2020-05-09 10:23:10
1394
1
原创 搭建YOLO GPU版本虚拟运行环境
一、概述由于GPU的资源比较昂贵，尤其在云端，为了充分利用GPU资源，考虑用GPU资源虚拟化。为了让YOLOv3 GPU版本能够在虚拟化环境运行，需要安装YOLOv3 GPU版本耐以运行的Docker环境。二、安装YOLOv3 GPU环境到Docker2.1、编写Dockerfile#我这里从dockerhub选用cuda10.0，cudnn7.0，ubuntu16.04的镜像为...
2019-11-25 10:26:56
902
原创 docker 部署含netty ssl认证的java程序问题
1、pom.xml说明netty ssl依赖以下文件，找出netty对应版本的tcnative依赖版本，在netty github官网有依赖说明。我这里用的是4.1.31.Final，对应netty ssl依赖的tcnative版本2.0.19.Final。<dependencies> <dependency> <groupId>io.net...
2019-06-05 11:19:26
1559
2
原创 Spring Cloud学习过程中遇到的Bug Error creating bean with name 'scopedTarget.eurekaClient' defined in class
在引入spring-cloud-starter-netflix-eureka-client和spring-boot-starter-web两个依赖的时候，会出现冲突。由于代码里面，我用了Spring MVC的Rest方式，而没有用spring-cloud-starter-netflix-eureka-client本身包含Jesery Rest方式。导致出现下面的BUG。org.springf...
2018-11-14 15:00:00
8831
8
原创 Docker日志清理
1、手动清理方式 编写手动清理脚本如下：$> cat cleanDockerLog.sh#!/bin/shecho "==================== start clean docker containers logs =========================="logs=$(find /var/lib/docker/containers/ -n...
2018-11-02 10:06:49
452
原创 MySQL主从同步遇到问题解决方案
1、停止Slave数据库mysql> stop slave;2、对Master数据库锁表mysql> FLUSH TABLES WITH READ LOCK;mysql> SHOW MASTER STATUS;+------------------+----------+--------------+------------------+-----------...
2018-10-30 14:05:25
466
原创 基于AWS EC2，搭建MySQL5.7 一主多从架构
1、项目背景 由于AWS的RDS是收费的，所以在我的项目中，利用EC2搭建MySQL5.7一主多从方案。这里我的项目中，目前采用一主两从方案，为了高可用性，这里用了2个可用区域，可用区A，可用区B。 准备的EC2机器如下： master 172.31.76.147 可用区A slave1 172.31.76...
2018-10-30 13:55:12
1512
原创 MySQL监控
1、背景 接上一篇，AWS EC2监控（https://blog.youkuaiyun.com/QFYJ_TL/article/details/82760276），在swarmprom基础上需要加上对MySQL的监控，MySQL监控主要利用mysqld_exporter和Prometheus开源工具。2、安装mysqld_exporter 我这里MySQL配置的是一主两从。...
2018-09-29 15:08:59
403
原创 通过Maxscale代理，实现MySQL读写分离
一、搭建MySQL主从架构 参加我的博文：AWS上搭建MySQL主从-配置半自动异步复制策略<https://mp.youkuaiyun.com/postedit/81222925>,搭建MySQL主从架构。二、借助MySQL代理Maxscale实现SQL层读写分离 MySQL代理的工具比较多，有MySQL Proxy，Maxscale，ProxySQL ,360的Atla...
2018-09-21 14:25:06
1825
6
原创 微服的日志归集处理
一、项目背景 由于自己的项目不是采用Spring Cloud架构写的，而是用Maven POM的形式来构建自己项目的微服架构。通过把一个微服，用Docker进行独立部署。测试过程中，发送一个问题，就是一个用户请求过来，无法快速定位，用户是访问了哪台机器上的微服服务，得从Portainer上，一个一个看Docker的日志比较麻烦。所以想到了日志归集的问题。 经了解日志归...
2018-09-21 13:26:10
1031
原创 利用Flannel在AWS EC2上搭建Docker网络跨机访问网络
一、AWS EC2上踩过的坑 在AWS EC2上之前搭建过Docker Swarm集群，由于项目还没有正式上生产，所以胆大什么技术都刚上去尝试。Docker Swarm上手很快，很容易建立一个集群。实际中，Docker Swarm发布Service，公布对外端口。发现客户端连接，首次有短暂超时现象，访问速率不及直接用Docker独立部署镜像，暴露端口对外提供服务。查阅了不少资料，都...
2018-08-04 00:04:32
948
原创 在AWS EC2上搭建ETCD集群
一、以http方式搭建etcd集群 1、准备好三台机器,三台机器如下： IP地址 主机名称 安装服务 172.31.72.142 master1 Etcd、Maser节点 172.31.82.187 master2 Etcd、Node节点 172.31.11.86 ma...
2018-08-03 22:45:10
1032
原创 AWS上构建Docker Swarm
1、准备机器manager-ha-master 172.31.72.142manager-ha-backup 172.31.82.187manager3 172.31.61.130woker-smarthome 172.31.80.14woker-justfitv2 172.31.76.147work-oss 172.31.56.1032、Docker Ce版安装 yum...
2018-08-03 22:40:29
359
原创 工作中操作AWS EC2实例遇到的坑
1、下载了证书，登录不了AWS EC2实例。 Li-Worker-Pro:~ bosma_tl$ ssh -i ~/America-North.pem centos@12.23.11.11@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: UNPROTECTED PRIVATE KE...
2018-08-03 10:21:52
3435
原创 AWS上RocketMQ的两主两从部署
1、准备机器manager3 主 NameServer 172.31.61.130worker-justfitv2 从 172.31.76.147worker-oss 主 NameServer 172.31.80.14worker-smarthome 从 172.31.56.1032、下载安装rockectmqcd /home/centos/installwget ht...
2018-07-30 16:00:55
1300
原创 AWS上搭建MySQL主从-配置半自动异步复制策略
1、准备机器worker-smarthome 主 172.31.76.147worker-oss 从 172.31.80.142、rpm安装msql yum源这里安装MySQL5.7版本，MySQL5.7版本$ wget 'https://dev.mysql.com/get/mysql57-community-release-el7-...
2018-07-26 16:44:34
1624
原创 AWS上构建Docker Swarm
1、准备机器manager-ha-master 172.31.72.142manager-ha-backup 172.31.82.187manager3 172.31.61.130woker-smarthome 172.31.80.14woker-justfitv2 172.31.76.147work-oss 172.31.56.1032、Docker Ce版安装 yum...
2018-07-24 17:47:49
322
原创 AWS EBS磁盘挂载和卸载
一、AWS EBS挂载1、查看已经连接上的卷[root@worker-oss centos]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTxvda 202:0 0 20G 0 disk└─xvda1 202:1 0 20G 0 part /xvdf 202:80 0 30G 0 disk /fa...
2018-07-24 13:59:42
3439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人