dreamzuora的博客

SparkSpark 是什么?Apache Spark?是用于大规模数据处理的快速和通用引擎.速度:在内存中,运行程序比Hadoop MapReduce快100倍，在磁盘上则要快10倍.Apache Spark具有支持非循环数据流和内存计算的高级DAG执行引擎.易用:可以使用Java，Scala，Python，R快速编写程序.Spark提供80+高级操作方法，可以轻松...

链接：https://www.cnblogs.com/charlesblc/p/6109551.html

文章目录第一章：概述第一节：什么是Flink？第二节：Flink特点？第三节：Flink应用场景？第四节：Flink核心组成第五节：Flink处理模型：流处理和批处理第六节：流处理引擎的技术选型拓展：什么是最多一次、最少一次和仅一次（精确一次）？第二章：Flink快速应用第一节：单词统计案例（批数据）需求依赖代码第二节：单词统计案例（流处理）需求代码Flink程序开发的流程总结第三章：Flink体系结构第一节：Flink的重要角色第二节：Flink运行架构第四章：Flink常用API使用第一节：Flink

package csdn.dreamzuora;import com.sun.istack.internal.logging.Logger;import org.apache.hadoop.hbase.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IO.

DubboDubbo简介首先，我理解的Dubbo，从大的方向来看是单体应用到分布式应用过度期的一个产物，具体来说应该是分布式应用从早期的SOA到微服务过度的一个产物。在编写分布式场景下高并发、高扩展的系统对技能的要求很高，因为这个过程会涉及到序列化/反序列化、多线程、网络编程、设计模式、性能优化等众多专业知识。而Dubbo框架对这些专业知识做了更高层的抽象和封装，提供了开箱即用的特性。所以换句话说Dubbo是为了解决大流量、高并发场景下提供高可用、提升系统性能的这样一个服务治理方案，也是优秀的RPC框

一、介绍轻量级集群框架，协同服务，保证高可靠、高可用，集中式服务，用于配置信息，名称服务，分布式同步处理树形层次结构，znode，动物管理员二、zk组件client 向server周期性的发送消息，表明自己还活着，server向client回应确认消息，client没有收到回应，自动重定向消息到其他serverserver 一个zk节点，向client提供所有服务，通知client ，se...

课程学习一致性哈希算法 集群时钟同步问题 分布式ID解决方案 分布式任务调度问题 session共享(一致性)问题一致性哈希算法一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中...

https://www.cnblogs.com/qingyunzong/category/1169344.html

首先我们学习hadoop的时候，为了让我们不太会java语言但是对SQL很熟悉的工程师能够操作基本的mapreduce计算过程，Hive被设计出来了。Hive就好比是hadoop在执行MR（mapreduce）程序的一个操作系统，因为我们可以用简单的SQL语句去代替复杂的MR程序，因为Hive可以将我们的SQL语句转化为MR程序然后去执行。Hive的语法和SQL的语法很多地方是相同的，所以说它就是...

Hadoop MapReduce执行过程详解及MR中job参数及设置map和reduce的个数（带hadoop例子）：https://blog.youkuaiyun.com/helloxiaozhe/article/details/79246400MapReduce–倒排索引：https://blog.youkuaiyun.com/jianjian1992/article/details/47259479...

https://blog.youkuaiyun.com/lxa8008/article/details/50868192

https://www.iyunv.com/thread-17698-1-1.html

http://www.cnblogs.com/langgj/p/6595756.html

一 慕课网1.Hadoop大数据平台架构与实践–基础篇(已学习)链接:https://www.imooc.com/learn/3912.Hadoop进阶（已学习）链接:https://www.imooc.com/learn/890二 极客学院1.Hadoop 概述(已学习)链接:http://www.jikexueyuan.com/course/677.html2.Hadoop 架...