
大数据
Franco蜡笔小强
小码农
展开
-
Java中的事务——全局事务与本地事务
在上一篇文章中说到过,Java事务的类型有三种:JDBC事务、JTA(Java Transaction API)事务、容器事务。这是从事务的实现角度区分的,本文从另外一个角度来再次区分一下Java中的事务。站在事务管理的角度,可以把Java中用到的事务分为本地事务和全局事务。本地事务不用事务的编程框架来管理事务,直接使用资源管理器来控制事务。典型的就是java.sql.Connec转载 2017-11-19 14:07:52 · 8737 阅读 · 0 评论 -
Java中的事务——JDBC事务和JTA事务
博客中曾经关于事务有过很多讨论,之前的事务介绍基本都是数据库层面的事务,本文来介绍一下J2EE中和事务相关的内容,在阅读本文之前,希望读者对分布式有一定的了解。关于事务的基础知识这里不再详细介绍,想要了解的同学可以在我的博客中阅读相关文章。Java事务的类型有三种:JDBC事务、JTA(Java Transaction API)事务、容器事务。 常见的容器事务如Spring事务,容器事务主转载 2017-11-19 14:06:46 · 320 阅读 · 0 评论 -
深入理解分布式系统的2PC和3PC
之前写过一篇文章专门介绍了一下2PC和3PC(详见:关于分布式事务、两阶段提交协议、三阶提交协议)。上一篇文章中主要介绍了下这两种分布式一致性协议的概念、具体提交流程以及优缺点。本文在上篇文章的基础上在深入了解下这两种分布式一致性协议。主要来分析下为什么2PC存在数据一致性问题,3PC是如何解决了部分2PC存在的问题的,以及为什么3PC还存在可能导致数据不一致的情况。对分布式系统的概念及2转载 2017-11-19 14:04:44 · 539 阅读 · 0 评论 -
分布式一致性算法——paxos
随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在关于分布式事务、两阶段提交协议、三阶提交协议一文中主要用于解决分布式一致性问题的集中协议,那么这篇文章主要讲解业内公认的比较难的也是最行之有效的paxos算法。我认为转载 2017-11-19 14:03:15 · 773 阅读 · 0 评论 -
关于分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在分布式一致性一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题,其中包括什么是分布式事务,二阶段提交和三阶段提交。分布式一致转载 2017-11-19 14:01:33 · 287 阅读 · 0 评论 -
分布式系统的BASE理论
BASE理论eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结,在ACM上发表文章提出BASE理论,BASE理论是对CAP理论的延伸,核心思想是即使无法做到强一致性(Strong Consistency,CAP的一致性就是强一致性),但应用可以采用适合的方式达到最终一致性(Eventual Consitency)。BASE是指基本可用(Basically A转载 2017-11-19 14:00:17 · 558 阅读 · 0 评论 -
分布式系统的CAP理论
2000年7月,加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后,麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后,CAP理论正式成为分布式计算领域的公认定理。CAP理论概述一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition转载 2017-11-19 13:59:23 · 232 阅读 · 0 评论 -
关于分布式一致性的探究
随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在初识分布式系统一文中简单介绍了分布式的基本概念,本文将在上篇文章的基础上继续学习分布式的一致性问题。主要介绍分布式一致性的基本概念、重要性、一致性模型等。一致性的重要转载 2017-11-19 13:58:06 · 254 阅读 · 0 评论 -
初识分布式系统
随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。一、集中式系统在学习分布式之前,先了解一下与之相对应的集中式系统转载 2017-11-19 13:57:04 · 381 阅读 · 0 评论 -
解决webx的xss和csrf漏洞
写在前面:最近全集团都在搞安全的事儿,对这事儿很重视,前几天宙斯盾上我们的项目报出三个安全漏洞,老大说让我care并且修复一下,当时觉得自己没接触过肯定弄不好,但是渐渐的通过学习,还是解决了这几个漏洞,主要是XSS和CSRF这两个,记录如下:一、CSRF漏洞CSRF(Cross-site request forgery跨站请求伪造,也被称为“one click attack”或转载 2017-11-19 13:53:14 · 1039 阅读 · 0 评论 -
This ZooKeeper instance is not currently serving requests
背景Zookeeper集群中有11台机器,突然有一台机器挂掉了。由于在不断报警,我就先把这台机器下掉了。为了保证其稳定性,所以还要扩容一台机器。其实就是要把之前的那台机器替换掉。在其中一台机器挂掉之前,配置如下(数据都是我编的):server.1=192.168.1.101:2555:3555server.2=192.168.1.102:2555:3555server.3=192.转载 2017-11-19 13:04:03 · 2197 阅读 · 0 评论 -
Zookeeper介绍(四)——Zookeeper中的基本概念
在介绍了Zookeeper的安装之后,就可以了解一下Zookeeper中的常用概念了。本文将主要介绍ZK中角色、数据模型、节点、ACL、watcher等概念。角色在Zookeeper概述中也提到过,Zookeeper的Follower在接到客户端请求之后会把请求转发到Leader,这里提到的Follower和Leader就是ZK中的角色,ZK中有以下角色:领导者(leader)负责转载 2017-11-14 08:51:51 · 324 阅读 · 0 评论 -
Zookeeper介绍(三)——Zookeeper的安装
在Zookeeper概述中简单介绍了Zookeepr,工欲善其事,必先利其器。那么本文就介绍如何安装Zookeeper。Zookeeper有三种安装方式:单机模式、集群模式、伪集群模式。单机模式单机模式表示只运行在一台服务器上,适合测试环境; 安装步骤如下:一、下载ZooKeeper二、解压三、在conf目录下创建一个配置文件zoo.cfgtickTime=2000转载 2017-11-14 08:50:53 · 203 阅读 · 0 评论 -
Zookeeper介绍(二)——Zookeeper概述
在Zookeeper介绍(一)——背景知识中介绍过,随着网站的不断发展,逐渐从集中式演变到分布式。但是,在分布式系统中存在着很多数据一致性的问题。那么,有没有什么系统或者组件能够帮助我们解决这些一致性问题呢?本文将简单介绍一个分布式服务协调组件——Zookeeper。什么是ZookeeperZookeeper是一个开放源码的分布式服务协调组件,是Google Chubby的开源实现。是一个转载 2017-11-14 08:49:50 · 442 阅读 · 0 评论 -
Zookeeper介绍(一)——背景知识
本文主要介绍什么是分布式系统以及分布式系统存在哪些问题。分布式互联网技术的发展,导致大型网站需要的计算能力和存储能力越来越高。网站架构逐渐从集中式转变成分布式。什么是分布式把一个计算任务分解为若干个计算单元,并分派到若干个不同的计算机中去执行,然后再汇总计算结果。分布式的工作方式有点类似于团队合作。当有一项任务分配到某个团队之后,团队内部的成员开始各司其职,然后把工作结果统一汇转载 2017-11-14 08:48:44 · 533 阅读 · 0 评论 -
Zookeeper运维常用四字命令
echo stat|nc 127.0.0.1 2181 查看哪个节点被选择作为follower或者leader使用echo ruok|nc 127.0.0.1 2181 测试是否启动了该Server,若回复imok表示已经启动。echo dump| nc 127.0.0.1 2181 ,列出未经处理的会话和临时节点。echo kill | nc 127.0.0.1 2181 ,关掉serverec转载 2017-11-14 08:47:54 · 692 阅读 · 0 评论 -
分布式锁的几种实现方式~
目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。”所以,很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的场景中,都需要牺牲强一致...转载 2017-11-14 08:40:07 · 222 阅读 · 0 评论 -
关于命名服务的知识点都在这里了
命名服务,顾名思义,就是帮助我们对资源进行命名的服务,命名的目的当然是为了更好的定位了。这里所提到的资源在不同场景中包括但不限于计算机(主机)名和地址、应用提供的服务的地址或者远程对象等。本文主要介绍Java中的命名服务、简单的命名服务的实现策略以及在分布式场景中如何实现命名服务。JNDI要介绍命名服务,不得不提 Java 命名和目录接口(Java Naming and Directo转载 2017-11-14 08:38:44 · 1841 阅读 · 0 评论 -
Java工程师成神之路~
一、基础篇1.1 JVM1.1.1. Java内存模型,Java内存管理,Java堆和栈,垃圾回收http://www.jcp.org/en/jsr/detail?id=133http://ifeve.com/jmm-faq/1.1.2. 了解JVM各种参数及调优1.1.3. 学习使用Java工具jps, jstack, jmap, jconsole,转载 2017-11-14 08:36:20 · 593 阅读 · 0 评论