- 博客(18)
- 收藏
- 关注
RSS订阅原创 PG学习笔记（1）—— 主从复制：流复制
PG学习笔记（1）—— 主从复制：流复制闲云野鹤，乡夫俗子，不过一隅静土。背景PostgreSQL 9.1之前，主从复制传输以WAL日志文件为单位，主库写完WAL日志后再传输给从库，导致主从延迟较大。基于这种情况，PostgreSQL 9.1引入主从流复制，以WAL日志的record为传输单位，从库及时同步主库数据，并且应用每个WAL record，因此能做到同步复制。另外实现了Hot Standby，从库在应用WAL record的同事能够提供制度服务。架构PG主从流复制的核心有三个进程构成：
2022-03-21 17:28:58
3288
原创 MySQL学习笔记（1）——高可用组复制
MySQL学习笔记（1）——高可用组复制积土成山，风雨兴焉。积水成渊，蛟龙生焉。一、概念组复制（MySQL Group Replication，MGR）是MySQL官方在MySQL 5.7.17版本中以插件形式推出的主从复制高可用技术。其基于原生的主从复制，将各个节点归入到一个组中，通过组内节点的通信协商（组通信协议基于Paxos算法），实现数据的强一致性、故障探测、冲突探测、节点加组、节点离组等功能。例如具有3个节点的组：这三个节点互相通信，每当有事件发生，都会向其他节点传播该事件，然后协商
2022-01-05 17:36:17
1542
原创 SHELL学习笔记（1）—Shell变量使用方法
SHELL学习笔记（1）—Shell变量使用方法把握拥有的，追逐更为期待的，是生活的一大乐趣。一、序言shell对变量的处理灵活多样，对于一种业务，往往有多种方式解决。因此善用合适的变量使用方法，能够解决问题的同时，简化代码或增加可读性。二、变量分类自定义变量、环境变量；Bash在定义一个新变量时，不需要提前进行声明，而是直接指定变量名称（注意区分大小写），并赋予初始值（默认值是string类型），即var = value。shell定义环境变量临时生效：export var = val
2022-01-04 17:25:58
834
原创 工作笔记(2)—Prometheus服务发现机制
工作笔记(2)—Prometheus服务发现机制一、场景问题在云原生、容器化的场景下，按需分配的方式成为主要的资源获取和使用方式。在这种情况下，所有的监控对象（基础设施、应用以及服务等）都在动态的变化。传统的基于Push模式的监控系统失去了一个固定地监控目标，不能很好的实时、准确地上报资源使用情况。Prometheus是一种典型的基于Pull模式的监控系统框架，其主要通过定义static_configs配置文件，静态地去监控对象。为了解决上述问题，Prometheus引入可服务发现模式。其基本的解决
2021-12-10 16:54:38
640
原创 Go学习笔记(1)—io.ReaderWriter
Go学习笔记(1)—io.Reader/Writer一、概念 io.Reader/Writer是Go语言中的pkg的一个核心interface。由此展开很多原生接口，可以在开发过程中，通过这个interface来实现不同的io类型之间的转换。如上图所示，围绕io.Reader/Writer，有几个常用的实现：net.Conn, os.Stdin, os.File: 网络、标准输入输出、文件的流读取strings.Reader: 把字符串抽象成Readerbytes.Reader: 把[]b
2021-12-08 18:39:26
1034
原创 分布式学习笔记 (1) 一致性
一致性学习笔记常见的一致性词语：CAP理论的 consistency， ACID 中的 consistency， cache一致性协议的 coherence， Raft/Paxos 中的 consensus。1.coherencecoherence 只出现在Cache Coherence 一词中，称为”缓存一致性”，研究多核场景，即怎么保证多个核上的CPU 缓存数据是一致的，一般是单机维度的，不算分布式领域。2.consensusconsensus准确的翻译是共识，即多个提议者达成共识的过程，例如
2021-12-07 17:06:11
908
转载 JDK自带SPI机制与Dubbo的SPI机制对比
转载文章：《JDK自带SPI机制与Dubbo的SPI机制对比》原文地址：https://blog.youkuaiyun.com/weixin_39739810/article/details/121682531?spm=1001.2014.3001.5501 1. JDK自带SPI机制 (1) 简介 SPI 全称为 Service Provider Interface，是一种服务发现机制。SPI 的本质是将接口实现类的全限定名配置在文件中，并由服务加载器读取配置文件，加载
2021-12-06 18:10:03
406
原创 工作笔记 (1)—Executor has been shut down问题记录
工作笔记（1）—"Executor has been shut down"问题记录面对焦虑的最好办法就是动手去解决它一、问题描述在启动定时任务quartz时，console后台显示错误，内容如下：Exception in thread "Thread-26" java.lang.IllegalStateException: Executor has been shut down at org.apache.sshd.common.util.ValidateUtils.createFormatte
2021-12-02 15:31:41
1774
1
原创 Java学习笔记(2)—ThreadLocal
Java学习笔记(2)—ThreadLocal不积小流无以成江海，不积跬步无以至千里一、概念ThreadLocal 是一个关于创建线程局部变量的类，主要作用是做数据隔离，保存到 ThreadLocal 中的数据只属于当前线程，该数据对其他线程而言是隔离的。即使用 ThreadLocal 保存的数据只能被当前线程访问，其他线程无法访问和修改。在多线程环境下，防止自己的变量被其他线程篡改。注意：ThreadLocal 设计的目的就是为了能够在当前线程中有属于自己的变量，并不是为了解决并发或者共享变量的
2021-12-01 18:25:44
309
原创 python数据分析总结
数据聚合与分组运算在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供一个灵活高效地groupby功能，使得能以一种自然的方式对数据集进行切片、切块、摘要等操作。关系型数据库和SQL能够如此流行的原因之一就是其能够方便地对数据进行连接、过滤、转换和聚合。但pandas同样具有强大的表达能力，可以执行复杂的分组运算：1）使用一个或多个键（函数、数组或者DataF...
2019-12-18 22:30:01
1615
原创 区块链在电子病历存储的应用（总结一）
区块链在电子病历存储的应用电子病历概念电子病历通常用电子设备（计算机、健康卡等）保存、管理、传输和重现的数字化的医疗记录，用以取代手写纸张病历，其内容包括纸张病历的所有信息。...
2019-12-15 18:41:48
5643
2
原创 利用python进行数据分析
绘图和可视化信息可视化（绘图）是数据分析中最重要的工作之一，他可能是探索过程的一部分。它可以协助找出异常值、必要的数据转接，得出有关模型的idea。同时实现一个可交互的数据可视化也是工作的最终目标。python有许多库可以进行静态或动态的数据可视化，本节主要关注matplotlib。matplotlib是用于创建出版质量图标的桌面绘图包（主要是2D方面）。matplotlib和IPython社...
2019-12-07 00:01:54
1302
原创 利用python进行数据分析
利用python进行数据分析（其四）数据规整：聚合、合并和重塑在许多应用中，数据可能分散在许多文件或数据库中，存储的形式将不利用分析，因此可以使用聚合、合并、重塑数据的方法来对数据进行规整。1.层次化索引层次化索引是pandas的一项重要功能，可以在一个轴上拥有多个（两个以上）索引级别，因此能以低维度形式处理高纬度数据。举例来说明：In [9]: data = pd.Series(np....
2019-12-03 22:22:42
530
原创 python数据分析总结
利用python进行数据分析(其三)数据清洗和准备在数据分析和建模的过程中，在数据准备上（加载、清理、转换以及重塑）需要相当多的时间。因此，pandas和内置的Python标准库提供了一组高级的、灵活的、快速的工具，可以有效地将数据规整成所想要的格式。1. 处理缺失数据缺失数据在pandas中呈现的方式比较不完美，对于数值数据，pandas使用浮点值NAN(Not a Number)表示缺...
2019-10-29 22:28:46
4400
1
原创 python数据分析总结
利用python进行数据分析(其三）数据加载、存储与文件格式输入输出通常可以划分为几个大类：读取文本文件和其他更高效的磁盘存储格式，加载数据库中的数据，利用Web API的操作网络资源。读写文本格式的数据pandas提供一些用于表格型数据读取为DataFrame对象的函数，其中对其进行总结为以下：将文本数据转换为DataFrame这些函数的选项可以划分为以下几个大类：索引：将一个或...
2019-10-21 23:13:24
1813
原创 python数据分析总结
利用python进行数据分析(其二）pandas入门pandas含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具，可同数值计算工具NumPy和SciPy，分析库statsmodels和scikit-learn和数据可视化库matplotlib。其中pandas是专门为处理表格和混杂数据设计，而NumPy更常用于处理统一的数据数组数据。pandas的数据结构1.Series，一种类...
2019-10-15 22:49:47
811
原创 python数据分析总结
利用python进行数据分析（其一）NumPy基础NumPy的ndarray：一种多维数组对象创建ndarrayndarray的数据类型NumPy数组的运算基本索引和切片切片索引本文实验环境、工具：anoconda，Jupyter notebook，python3.6NumPy基础NumPy (Numerical Python) 是Python关于数值计算最重要的基础包，可以构建科学计算的库...
2019-10-10 23:06:12
1283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人