QiAn的博客

Apache Kafka最初由LinkedIn开发并于2011年开源，主要解决大规模数据的实时流式处理和数据管道问题。kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。kafka消息系统有多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。kafka使用高效的数据存储和管理技术，能够轻松地处理TB级别的数据量。其优点包括高吞吐量、低延迟、可扩展性、持久性和容错性等。

Redis 是一个基于的 key-value 结构数据库。Redis是一个开源的内存中的数据结构存储系统，可以用作：数据库、缓存和消息中间件。NoSQL = Not Only Sql， 泛指非关系型数据库，一类数据库，不是特指某一种数据库关系型数据库RDBMS：MySQL、Oracle、DB2、SQLServer非关系型数据库NoSQL：Redis、Mongo DB、MemCachedRedis应用场景：缓存热点数据、任务队列、消息队列、分布式锁（解决并发式操作问题）

HBase的起源是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储官方网站：http://hbase.apache.org-- 2006年Google发表BigTable白皮书-- 2006年开始开发HBase-- 2010年HBase成为Apache顶级项目-- 现在很多公司二次开发出了很多发行版本，也开始使用了HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大

spark核心概念spark集群架构spark集群安装部署spark-shell的使用通过IDEA开发spark程序。

我们基于的scala版本 2.12.10scala是运行在 JVM 上的多范式（规范）编程语言，同时支持面向对象和面向函数编程。（真实数据与操作过程解耦）早期scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起，scala逐步进入大数据开发者的眼帘。scala的主要优势是它的表达性。官网地址 http://www.scala-lang.org。

SpringBoot基于Spring开发，继承了Spring框架原有的优秀特性，但并不是来替代Spring的解决方案，而和Spring框架紧密结合进一步简化了Spring应用的整个搭建和开发过程。其设计目的是用来简化Spring应用的初始搭建一级开发过程，主要是通过提供默认配置等方式让我们更容易使用。关于SpringBoot有一句很出名的话就是约定大于配置。

顺序：build 添加web支持 lib导包 web.xml springmvc-servlet.xml hello.jsp HelloController。有视图解析器时，默认是转发，如果想重定向，需要加上“redirect”。解决post方式提交的中文乱码问题（对get方法不太友好，但可以用）@Controller：走视图解析器 搭配@ResponseBody。@RequestParam的属性值和域名中的变量名要一致。RESTful风格：简洁、高效（支持缓存）、安全。--文件上传配置-->

1、Spring简介。

MyBatis 是一款优秀的持久层框架；它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。MyBatis本是apache的一个开源项目iBatis，2010年这个项目由apache software foundation迁移到了。