- 博客(37)
- 收藏
- 关注
RSS订阅原创 怎么实现一个分布式kv系统-0-实现目标
本节为《用Go语言一步步实现分布式Key-Value数据库》系列的第一篇，讲了我们这个系列要实现的目标。
2022-02-28 18:48:43
903
原创 怎么实现一个分布式kv系统 #1 local database
本节要实现的有2点- 环境配置：远程服务器 + VS Code设置- 实现类似redis的set和get功能 - 基于bolt.DB实现db模块 - 实现简单的http web模块
2022-02-10 17:39:56
1157
原创 go-包管理
title: go-包管理tags:go包管理背景每次打开IDE，都变红。如果超过3次，我想着是不是应该将事实弄明白呢。分析1、为啥会报错？肯定是找不到对应的pkg2、那IDE到底是去哪里找了呢？理论上是gopath路径下面，????????GOPATH="/root/gopath" 这里，IDE里面可以设置的项目更多go env的输出GO111MODULE="on" GOPATH="/root/gopath"GOPROXY="https://goproxy.cn
2022-01-21 18:30:13
598
原创 blog部署篇
背景最近开始重拾写blog的习惯，想着坚持点啥吧。结果将github上的网站打开，2020-03最近一篇，现在可是2021-12月了，搁置了1年9个月，真行。然后打算上传一篇blog，发现新电脑上环境也没有了。大脑开始高速运转，好吧~ 完全没有一点映像。因此，打算乖乖的写文章记录，好记性不如烂笔头，先人们不曾欺我啊~操作记录之前还折腾什么mweb，一键部署多个平台啥的。现在可能是思想观念变了，内容平台还是以内容为主。既然都花了那么多心思写了，难道还不能去各个平台溜达一圈导入下吗。用什么写？
2022-01-06 16:33:36
220
原创 Typora写blog中粘贴图片自动上传图床
Goal我电脑上 cmd + trl + a(微信截图) -> 来到Typora(cmd + v) 粘贴。然后就自动帮我上传图床，并且替换成图床照片吧，这样我也不需要切换到图床上去捣鼓了，就专注在Typora上去打字。实现图床：github、gitee，我自己比较常用的是路过图床，但是uPic不会配置，那就算啦，佛系找个能成功的。采坑：github图片可以正常上传，但是展示出来因此，我们还好折腾Gitee配置。创建仓库生成私人令牌配置uPicuPic直接git
2021-12-25 09:07:10
407
1
原创 hashicorp:raft源码系列(1)--导读
文章目录Raft是干啥的？Raft项目包含哪些模块？项目有多少行?从哪里开始？新建Raft节点逻辑？技术点1：atomic.Value技术点2：队头阻塞小小疑问❓Raft是干啥的？动画说明简述如下图：用户SET 5，3个不同节点都能获取SET 5的操作。所谓的最简单的分布式一致性。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XYWWs734-1639390285359)(https://s4.ax1x.com/2021/12/13/oO3r0P.png)]Raft
2021-12-13 18:12:22
577
原创 MountVolume.NewMounter initialization failed for volume “pvc-61dedc85-ea5a-4ac7-aaf3-e072e2e46e18“
报错本地测试环境k8s重启后，stateful set报错了# 报错信息MountVolume.NewMounter initialization failed for volume "pvc-61dedc85-ea5a-4ac7-aaf3-e072e2e46e18" : path "/var/openebs/local/pvc-61dedc85-ea5a-4ac7-aaf3-e072e2e46e18" does not exist原因观察到的现象就是本机的目录文件不存在，也就是docker里
2021-10-30 13:20:38
2408
1
原创 running PreBind plugin “VolumeBinding“: binding volumes: timed out waiting for the condition
需求在本地实现动态pv，创建一个stateful set，使用volumeClaimTemplates来申请存储1、安装openebs，只安装本地的hostpath,默认的hostpath是/var/openebs/localsudo mkdir -p /var/openebs/localsudo chmod -R 777 /var/openebs/localhelm repo add openebs https://openebs.github.io/chartshelm install op
2021-10-29 15:46:55
10261
原创 使用kubebuilder造operator1
学习????记录：项目来源kubebuilder官网，别的不多说，学啥你不得先把官网来一遍吗1、版本先check下官网上的Prerequisites, 这一步必不可少~~go version v1.15+ (kubebuilder v3.0).go version v1.16+ (kubebuilder v3.1+).docker version 17.03+.kubectl version v1.11.3+.Access to a Kubernetes v1.11.3+ cluster.g
2021-10-28 23:38:11
172
原创 怎样快速在本机上通过docker搭建mysql主从
????操作记录，github上的资源搬运工，真心是很方便github地址:https://github.com/vbabak/docker-mysql-master-slavegit clone git@github.com:vbabak/docker-mysql-master-slave.gitcd docker-mysql-master-slavebash build.sh
2021-10-28 19:44:17
79
原创 怎么给minikube部署prometheus和grafana
1、方案选择kube-prometheus，全家桶。分别安装prometheus和grafana我也不想选择第二种，但是我就一台普通的PC，安装kube-prometheus直接给我报错CPU不够用了，我~~2、先尝试第一种，如果成功了就别瞎折腾了，心累~先看下对应关系，最新的直接在github上看，旧的可能不好找。git clone https://github.com/prometheus-operator/kube-prometheus.gitgit checkout releas
2021-10-28 18:48:11
1659
2
原创 Mac上安装指定版本Minikube
1、确定需要的版本eg1.18releases下载地址 :https://github.com/kubernetes/minikube/releases?page=2将minikube下载到本地2、将minikube移动到对应位置&&添加可执行权限mv ~/Downloads/minikube-darwin-amd64 /usr/local/bin/minikubesudo chmod 555 /usr/local/bin/minikube3、启动k8s集群，stop&d
2021-10-27 13:41:12
562
原创 ProxySQL源码分析5-MySQL_Thread::run
整体的流程图如上，其中最重要的就是最后2步，分别处理data_stream和sessionvoid MySQL_Thread::run() { // 死循环 while (shutdown == 0) { // processing_idles初始化是false，上次检查时间大于ping的周期 if (processing_idles == false && (last_processing_idles <.
2021-09-06 18:22:45
127
原创 ProxySQL源码分析4-线程分析
Main thread初始化核心模块和线程。Main线程最后一部分用watchdog做mysql work线程和idle线程的heartbeat检查，如果超过20次则重启proxy，如果设置restart，则无限重启。Admin thread核心循环：admin_main_loop，是Admin模块最重要的循环创建并监听Admin端口(默认的6032)，为每个admin连接创建一个新的线程。加载各种配置信息，以及管理配置变更(动态加载、持久化到sqlite)等。如果配置HTTP Ser...
2021-09-04 18:00:10
212
原创 ProxySQL源码分析3-库表分析
main：内存配置数据库，表里存放后端db实例、用户验证、路由规则等信息。表名以runtime_开头的表示proxysql当前运行的配置内容，不能直接改。只能改对应的非runtime_表，然后load生效。monitor：存储 monitor 模块收集的信息，主要是对后端server的健康/延迟检查。stats：是proxysql运行抓取的统计信息，包括到后端各命令的执行次数、流量、processlist、查询种类汇总/执行时间等等。监控大盘的主要信息来源。stats_history：连接、查询、..
2021-09-04 17:46:53
127
原创 ProxySQL源码分析2-Main流程
Main流程图初始化全局变量，proxysql的main库里面的global_variables里面可查看变量daemon_fork，这里fork两次(感兴趣可找资料看下)，创建守护进程，proxysql宕机可自动拉起。阶段2-not_started–初始化Main模块，主要就是new来各种全局对象，包括GloQC(query cache)、GloQPro(query processor)、授权、GloMyMon(mysql monitor)、日志、GloMTH(mysql thread hand
2021-09-02 11:42:37
228
原创 ProxySQL源码分析1-ProxySQL功能介绍
上图中展示了流量从客户端发出 → ProxySQL进行处理转发 → 后端处理 → ProxySQL的前端连接 → 返回客户端的基本流程。下面我们简单梳理下ProxySQL的核心功能如下图。读写分离简单Sharding连接池管理多路复用流量管控高可用查询缓存动态配置标准化流量镜像SQL改写...
2021-08-31 15:32:03
320
原创 数据库原理系列一：存储引擎(上)
0：数据库架构 & 常见模块Q1：为什么是disk-oriented架构？磁盘很慢。那么问题来了，磁盘慢为啥还要用呢？磁盘便宜。磁盘比内存那不是便宜了一点啊。比内存大。数据往往很大，如果单纯的就用内存，那么多的数据存在哪。永久存储。内存掉电数据就没了。Q2：如果用了磁盘又会引入哪些问题？数据交互。磁盘&内存存储的数据需要换入换出。谁来换。DB or OS，各自的实现方式以及优缺点。换哪些。LRU策略，内存刷入刷出的策略有哪些，各自的特点是啥？什么时候换。刷脏页的条
2020-06-24 13:17:50
300
1
原创 FATAL error 2059 Authentication plugin caching_sha2_password cannot be loaded
1、报错# 执行sysbenchsysbench /usr/share/sysbench/oltp_read_write.lua --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=sbtest --db-driver=mysql --tables=5 --table-size=500000 --report-interval=3 --time=3000 --thread
2020-06-23 16:41:55
640
原创 Clickhouse中高阶函数使用案例
Clickhouse中高阶函数使用案例案例一：滑动窗口计算需求描述1、创建表CREATE TABLE test_windows_function( `dt` Date, `vales` Int64)ENGINE = Memory2、插入数据insert into test_windows_function(dt,vales) values('2020-01-01',5),('2020-01-02',10),('2020-01-03',15),('2020-01-04',2
2020-05-20 10:27:05
4652
原创 基于TensorFlow实现MNIST手写体数字识别
1. 背景描述1.1 数据源介绍数据源说明：60000训练集 + 10000测试集图中的每个数字都是[28,28]的二阶数组表示，每个位点上的值是颜色的深度[0-255] ~ [白色-黑色]。根据规范化处理，我们后面会将灰度值缩放到[0,1]。使用程序获取数据from keras.datasets import mnist# 注意keras的默认路径是~/.keras/dataset...
2019-04-24 13:29:54
954
原创 基于TensorFlow实现房价预测以及可视化
1. 问题描述根据已知的房价数据，对新的房子进行价格预测。这种属于典型的监督类学习算法。2. 算法选择以及原理2.1 算法图这里我们用一种比较好理解的机器学习算法来进行建模：线性回归。看下面的图，很容易理解，找出一条线对数据点进行拟合使得目标函数最小话，下图是对单变量进行拟合还可以针对多变量进行建模。2.2 算法公式第一步：定义拟合曲线。第二步：转化成矩阵运算，这里的X0就是为了...
2019-04-22 21:26:15
2592
原创 xtrabackup中三把锁研究
背景介绍在使用xtrabackup愉快的进行备份的同时，xtrabackup中由于锁带来的线上问题也是很令人头疼的~，所以就找个时间对xtrabackup中的三把锁以及遇见的线上问题进行简单梳理。原理解析第一步 ： LOCK TABLES FOR BACKUP 第一步：锁表，这一步发生在innoDB表[即事务类的表]备份完成后，非事务表备份之前；其次，这里加的...
2018-02-09 11:51:21
2439
原创 auto_position参数的作用与影响
背景最近开启线上mysql5.6的GTID，有一个注意事项是必须开启auto_position=1，同时参看淘宝内核月报 http://mysql.taobao.org/monthly/2015/04/10/ 同样描述了这个问题，但是有个问题却没有说明auto_position=1到底是干了什么？以及这个参数对MHA的影响？在做change master的时候回自动的去找到事务执行的位置：...
2018-02-08 10:28:42
8217
原创 用Python一步一步实现PCA
Requirements： Python环境部署：http://blog.youkuaiyun.com/luzhangting/article/details/61414485 PCA原理：http://blog.youkuaiyun.com/zhongkelee/article/details/44064401第一步：生成三维的样本数据 生成40个三维数据，分两类，每一类20个 第一类：均值[0,0,0],方差[
2017-03-20 15:27:53
3835
2
原创 window下部署scikit-learn环境
在window下搭建scikit-learn环境，scikit-learn是python的机器学习库。
2017-03-11 11:19:15
645
原创 Docker+Git+Jenkins+Cloud VM=CI+CD
图片可能不是很清晰，这幅图是我在51CTO上学习的一门课程的截图。这幅图是基于docker的一种持续集成、测试、部署的解决方案。其中开发人员拿到bug，按照敏捷开发规范（结对编程、code review等）修复bug。然后将代码提交至github（代码管控工具），这里需要按照提交规范进行相关操作。配置Jenkins（持续集成工具）定时去检测github的代码更新情况，如有更新进行自动进行后续操作，根
2016-07-27 21:12:51
448
原创 R语言--环境安装--基本使用--简单绘图--学习资料
R简介 开源，类似MATLAB，偏重于数学计算。环境安装 工欲善其事，必先利其器。 2.1下载安装 官网地址：https://cran.r-project.org 下载地址：https://cran.r-project.org/mirrors.html，这里很感动啊，目前有中国镜像，这是我随便选的一个中国镜像http://mirror.bjtu.edu.cn/cran/，对照自己的操作系
2016-05-27 17:15:36
1242
原创 MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点
MapReduce-WordCount实现输入文件的按照空格、逗号、点号、双引号等分词输入文件的大写字母全部换成小写文件输出要求按照value值降序排序MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点
2016-05-24 13:24:23
11609
1
原创 阿里云服务器-百度开放云域名-WordPress网站部署踩的坑
前天在百度开放云上买了一个域名http://www.beelearning.cn/，好不容易等到实名认证完成（.cn的域名需要进行实名认证），今天弄的时候还是遇见了不少问题。使用环境：阿里云Ubuntu14.04的服务器，Apache2的Server，弄的是一个WordPress网站.（1）域名解析的是IP和网址，而我的项目根目录不是server的根目录。第一个问题需要修改server根目录，我用的
2016-05-23 22:06:35
1082
原创 2016/04/20阿里巴巴暑假实习生笔试–Java开发工程师
小伙伴们，想笔试阿里巴巴暑假实习生的同学们看过来，这是阿里巴巴2016年暑假实习–Java研发工程师的笔试题，重点是编程题，选择题就粗略的记录了一下，大家选择性的参考参考哈。1.选择题20个，共40分钟，简要记录。哪一个协议属于数据链路程，VPN,ARP,TCP,UDP。考点计算机网络分层模型，以及各层设计到的协议。哈夫曼树。考点哈夫曼树的构造，求带权路径长度值。读代码，写答案，求输出hell
2016-05-19 19:40:13
945
原创 2016/5/19阿里巴巴Java暑假实习面试记录--武汉专场
2016/5/19阿里巴巴Java暑假实习面试记录–武汉专场前面写过一篇关于笔试记录的文章，笔试时间是2016/4/20：http://121.42.146.222/lulu/index.php/2016/04/21/20160420-alibaba-summer-intern-written-java-development-engineer/，本次来写面试体验，趁热打铁记录一下。面试地点是在武汉
2016-05-19 19:31:51
817
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人