
分布式系统
文章平均质量分 68
忙起来,拿offer
你的坚持,终将美好
展开
-
Spark
1.Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。2.Spark是通用并行框架。3.Spark 是一种与 Hadoop 相似的开源集群计算环境。4.Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。5.Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。6.尽管创建原创 2022-03-24 22:53:29 · 2516 阅读 · 0 评论 -
Hadoop
1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2.Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access原创 2022-03-24 21:26:02 · 2275 阅读 · 0 评论 -
分布式系统架构
1.分布式:通过网络连接的多个组件,通过交换信息协作而形成的系统。分布式不一定就是不同的组件,同一个组件也可以,关键在于是否通过交换信息的方式进行协作。不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务,部署在不同的服务器上,解决高并发的问题。2.分布式系统架构:运行在多个处理器上的软件架构设计。3.分布式系统:建立在网络之上支持分布式处理的软件系统,由通信网络互联的多处理机体系结构上执行任务的系统。具有高度的内聚性和透明性。内聚性:每一个数据库分布节点高度自治,有本地的数据原创 2022-03-24 19:25:33 · 8880 阅读 · 1 评论