- 博客(14)
- 收藏
- 关注
RSS订阅原创 一文读懂共识协议
什么是共识协议？共识协议就是在多个参与方之间就某个事情达成一致的认识。更具体一点说，就是多个参与方就某个数据达成共识。这个数据可以是任何数据，比如0/1，也可以是100M大小的字符串，也可以是一个区块等。达成共识比较抽象，具体一点可以这样理解：多个参与方本地都有一张纸，参与方最终将共识的数据写到纸上。当我们把所有参与方的纸拿到一起的时候，纸上的内容（数据）是一摸一样的。
2023-07-28 15:02:38
439
原创 分布式计算框架
分布式计算就是为了把多个计算逻辑能够放到多台机器上执行，执行的逻辑一般使用java或者python等，还牵扯到数据如何分片。计算序列化要将计算逻辑放到多台机器，首先需要的就是将计算逻辑序列化，在网络上传输到多台机器，然后在多台机器上面反序列化，进行执行。资源管理对于计算资源需要进行管理，每台机器启动多少进程，一般按照机器的处理器内核进行分配，即有几个内核就启动几个进程。数据数据分片数据分片跟计算的分布紧密相连，一般尽可能的使计算和分片的数据在同一个节点。也有使用统一存储的方式，如hadoop
2022-03-02 18:30:00
2242
原创 pbft共识协议
pbft协议可以处理拜占庭错误，即可以处理以下错误：节点故意不回复节点故意发送误导的信息拜占庭错误的协议不仅要在多个节点之中确定一个提议，还要防止这个提议是假的，例如：这个提议的发送者是一个坏的节点，故意给一些节点发送A提议，给另外一些节点发送B提议，这样这个集群就产生了不一致，俗称脑裂。这是共识协议最严重的错误。如何才能处理拜占庭错误非拜占庭错误需要：二阶段协议n >= 2f + 1，即错误节点不能超过一半，集群要有大多数是正确的。拜占庭错误需要：3. 三阶段协议。可以理解
2022-02-25 18:06:34
1745
原创 raft共识协议
raft是一个基于选主、复制的共识协议。集群中的节点分为领导者、候选者和跟随者三种，99%的时间内，都是只有领导者和跟随者。领导者接受客户端请求、自己做决定，然后同步给所有跟随者。当大多数的跟随者回复同意之后，就认为这个决议被提交了，领导者可以更新这个决议到自己的日志里面，后续状态机可以按照日志执行。raft包括两个流程，一个是选主，一个是日志复制。当网络正常、节点正常的时候，一直只需要走日志复制流程。当领导者挂掉之后才会走选主流程。这个比较容易理解，但是为了保证协议的正确，raft在上述流程加入了很多限
2022-02-25 09:39:45
1557
原创 paxos协议
paxos是可以被证明的共识协议。两阶段提交的主要问题是阻塞问题，即系统在有节点失败的情况下，整个系统必须等在那里，什么都不做。为了解决这个问题，三阶段以及类似协议寻求在两阶段协议的基础上增加交互内容，或者增加节点日志内容，方便在系统阻塞的情况下，恢复协议的继续执行。paxos也可以理解是类似的思路，它采用两阶段提交，第一阶段是投票，第二阶段是决定。paxos协议增加了什么内容呢？整体上增加了一个多数派的概念，在具体的协议流程上，增加一个全局唯一序列号（ID）。多数派二阶段产生阻塞的主要原因是
2022-02-23 14:31:10
758
原创 分布式系统-逻辑时钟
分布式系统最大的问题是没有统一的时钟，这样就无法让他们按照定义好的顺序协作。要做到不同节点间的协作，必须有一个方式可以让不同节点能够同步。逻辑时钟逻辑时钟是在每个节点维护一个单调递增的数字，称之为时间戳，每一个操作都会将这个时间戳增加一，同时将这个数字返回给调用方。调用方调用服务器操作时候，也回带过来最新的时间戳，服务器选取请求中的与本地的时间戳中较大的一个进行加一操作，然后设置为本地最新的时间戳。发起调用的调用方在完成每次调用后，也会选择本地与调用返回中较大者，进行加一操作，之后设置为本地最新的时间戳
2022-02-22 14:43:50
1181
原创 分布式系统-共识协议
共识协议就是要让多个节点共同决定一个东西，这个东西可以是一个数字，可以是一个决定（yes or no），也可以是指令（字符串表示）。在分布式系统中，把常见的错误模型分为两类，一类是非拜占庭错误，这个模型的意思是，节点可以不响应（意外关闭），但是不能发送错误（故意发送错误信息，诱导其他节点犯错），根据不响应之后的行为有分为两类，一是发生错误后永远不回来了，这个叫fail-stop，二是后面又恢复了，这个叫fail-recovery，默认我们使用fail-recovery模型。第二类是拜占庭错误模型，节点不仅
2022-02-22 12:41:23
1777
1
原创 区块链核心技术-P2P网络
点对点网络是区块链中核心的技术之一，主要关注的方面是为区块链提供一个稳定的网络结构，用于广播未被打包的交易（交易池中的交易）以及共识过的区块，部分共识算法也需要点对点的网络支撑（如PBFT），另外一个辅助功能，如以太坊的消息网络，也需要点对点网络的支持。分类P2P网络分为结构化和非结构化网络两类。结构化网络采用类似DHT算法来构建网络结构；非结构化网络是一种扁平的网络，每个节点都有一些邻居节点的地址。点对点网络职责点对点网络的主要职责有维护网络结构和发送信息这两个方面。网络结构要关注的是新节点的加入
2022-02-18 16:21:50
13028
原创 等保三级核心-数据安全
数据主要指 系统管理数据、用户密码数据和业务数据；主要是在传输和存储两个方面；传输使用SSL加密传输数据完整性能检测数据的完整性收到破坏并恢复数据保密性存储使用加密，也可以人工保管数据备份和恢复数据要有备份，最好能异地备份；同时提供主备或者双活方案...
2022-02-14 17:38:15
3481
原创 等保三级核心-应用安全
应用是指在服务器上装的软件、系统身份鉴别密码要保护好访问控制权限要设置好安全审计对于系统的各类操作要记录，后续审计出报表剩余信息保护系统为其他用户分配的资源要做好清理工作通信完整性信息不篡改，SSL即可通信保密性传输加密, SSL即可抗抵赖要用数字证书，CA签发的那种软件容错对于非法输入做校验有即时存储功能，软件出错能恢复资源控制系统能做连接、流量控制，监控报警...
2022-02-14 17:30:44
1342
原创 等保三级核心-主机安全
主机就是服务器身份鉴别登录主机要有足够长的密码，通过堡垒机登录最安全访问控制不能越权，最小权限数据库与操作系统不能用同一个用户登录对重要信息资源做敏感标记（贴标签，或者在数据加入一个字段标记）安全审计这个审计日志不包括线上系统的用户行为。只记录各类运维客户端和数据库用户的操作剩余信息保护就是在把设备、主机、资源分配给别人时候，一定要清理干净入侵防范装入侵检测系统（主机），短信、邮件告警；少安装软件；定期检查程序是否被篡改，有的话，启动应急预案恶意代码防范
2022-02-14 17:20:22
3334
原创 等保三级核心-网络安全
网络安全主要关注网络环境和设备的安全，主要关注网络边界的防护；注意的是网络的用户包括正常系统以及网络设备的管理人员。结构安全首先画一个网络拓扑结构；网络设备的带宽要有冗余，满足业务高峰需求；划分网段进行逻辑隔离（物理隔离最好）；重要的系统要藏在里面，不要放在边界；提供SLA功能，为不同主机分配不同带宽。网络接入、设备、以及内部线路最好都做个双路冗余。访问控制控制的是对整个网络内部的访问；首先要有防火墙，配置开放IP和端口；其次有内容过滤功能；自动断开超时不操作的连接，限制最大连接数和流量
2022-02-14 17:05:06
4162
原创 等保三级核心-物理安全
物理安全物理位置物理主要是说机房要在安全的地方，要求防震、防风和防雨；同时不要在顶层、地下室、靠边，要在中心位置；旁边要有水访问控制进出机房要有控制，要有人看管，进出登记，机房内部根据重要程度、设置隔离区域防盗和防破坏主要设备要锁住、固定、贴标签；通讯线缆走地或者天花板；存储介质分类、贴便签、收纳好。机房安装无死角监控。防雷击有避雷设置；强电弱电需要接地。防火要有消防设施；材料要防火；要有隔离区域，不要一烧全烧没了。防水和防潮不能漏雨，里面不能有走
2022-02-14 10:25:10
2037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人