
大数据原理
小飞猪小肥猪
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据技术原理
HDFS:H是hadoop 分布式文件系统 分布式文件系统。 Hdfs是Hadoop分布式文件系统的简称,它是Hadoop实现的一个分布式文件系统。 纱线:管理资源调度 mycat:中间件 MapReduce的:分布式,并行处理的编译原理 伪分布式:纱和HDFS部署在同一台机器上 组件介绍: Hadoop的核心组件 HDFS ---- Hadoop生态圈的基本组成部...原创 2018-12-04 17:54:55 · 1506 阅读 · 0 评论 -
Hadoop的总体概述
Hadoop的总体概述 Hadoop起源于谷歌的集群系统,谷歌的数据中心使用廉价Linux PC机组成集群,在上面运行各种应用。 其核心组件有3个: 第一个就是,GFS(GOOgle File Syetem),一个分布式文件系统,隐藏下层负载均衡冗余复制等细节,对上层程序提供一个统一的文件系统API接口。 第二个是MapReduce的,谷歌发现大多数分布式运算可以抽象为MapReduce的...原创 2018-12-04 18:04:05 · 410 阅读 · 0 评论 -
互联网架构演变历程
1.大型互联网应用的特点 高并大流量:面对的是高并发的用户以及大流量的访问。 高可用:系统7 * 24小时不断服务。 海量数据:需要存储并管理海量的数据,这会用到大量的服务器。 用户分布广泛,网络情况复杂:许多的大型互联网应用都是为全球用户服务的,但用户分布范围广,而且各地的网络情况千差万别。 安全环境恶劣:由于互联网的开放性,会使的网站很容易收到黑客的攻击。 需求快速变更,发布频繁...转载 2018-12-08 14:12:37 · 998 阅读 · 0 评论 -
IO与NIO的区别
NIO同步和异步的区别: 同步和异步都是基于应用程序和操作系统。 同步:应用程序注解参与IO读写,所以是阻塞的,需要等待IO完成。 异步:IO读写交给操作系统,非阻塞。 NIO(同步非阻塞):面向缓冲区 IO : 面向流,(阻塞的,浪费性能)。 NIO:主要是通过selector 选择器管理所有的 IO 时间,服务端为例: 1. 首先需要serverSoketChannel .ope...转载 2018-12-08 14:38:00 · 143 阅读 · 0 评论 -
synchronized 和 lock 的使用分析(优缺点对比详解)
1. synchronized 加同步格式 synchronized (需要一个任意的对象(锁)){ 代码块中放操作共享数据的代码。 } synchronized 缺陷 synchronized 是java 中的一个关键字,也就是说是java 语言的内置的特性 如果一个代码块被synchronized 修饰,当一个线程获取了对应的锁,并执行代码块时,其他线程只能一直等待,等待获取锁的...转载 2018-12-08 16:20:23 · 402 阅读 · 0 评论