学习之路1

自己搭建了一个小的demo实例。

应用层使用jetty，部署在DCN区，服务层使用的Dubbo，部署在DCN区，数据库使用maycat，主要是开源免费。

主要涉及的技术有：数据缓存、分布式锁、数据库分片。
服务端使用的技术栈有：springboot、dubbo、kafka、elasticsearch、sentinel、mybatis、Mycat、disconf、swagger。
数据库有：Mysql、redis、TiDB。
服务端架构采用分层架构，分为：负载+网关层、应用层、服务层、数据层。使用KEEPALIVE+LVS作为系统负载层，事项流量的平衡分流；使用Nginx+lua做为网关，实现生产环境和灰度环境的灵活配置与切换；使用Jetty做为应用服务器，对外提供应用接口；使用微服务架构（springboot）做为服务层的核心架构，处理核心业务逻辑。根据业务逻辑划分成不同模块的微服务应用，对应用层提供dubbo协议的接口调用；数据层通过Mycat中间件使用分片技术，为系统提供强大的存储和查询能力。使用kafka与外部系统通信，实现消息高效率分发与处理 降低系统之间的耦合关系。
前端支持:WEB，采前后端使用restful+json接口模式通信。
前端架构使用 vue + vant UI + axios，使用Native代码开发App外壳，实现用户登录，使用Html5+js 实现业务逻辑界面。

实现思路。

1、主要涉及技术领域：大数据、实时计算、离线批处理
2、核心技术栈：Flink DataStream、ElasticSearch、Spark Sql、Kafka、Redis等
3、数据仓库：Hive、ElasticSearch、mysql
4、大数据架构设计原理：
      实时计算核心框架主要采用Flink DataStream对无界数据流进行有状态计算和高度灵活的窗口、分布式处理引擎,而实时数据采集和实时计算结果都应用Kafka，实现了各系统之间解耦，提高可扩展性和峰值处理能力;
      离线批处理主要使用Spark Sql对Hive/ElasticSearch/Mysql存储业务大数据量进行分布式数据集批处理，执行效率明细优于mapreduce;
      使用ElasticSearch实现基于大数据的实时搜索、分析、统计功能,ES-Client组件每天承接约2.8亿的调用量,真正实现了近实时(秒级)输出结果;
      Sentinel Redis多路由组件对业务数据根据一定规则进行分发，有效保护重要数据，以及对大数据量缓存进行分布式存储，同时大大提升缓存处理能力；