勾八二次元-优快云博客

原创大数据之Flink流式计算引擎

Flink DataFlow 数据的分类有界数据离线的计算效率：硬件相同的情况下：时间无界数据实时的计算效率：硬件环境相同的情况下，吞吐量：数据处理的数量、延迟：结果输出的时间—数据接收的时间状态有状态无状态窗口函数滚动窗口数量–时间不重复滑动窗口可以重复滑动的间隔–窗口的宽度会话窗口不会重复基于某一个用户的未操作时间时间事件时间到达时间处理时间 Flink简介大数据计算引擎第一代:

2021-12-28 21:11:21 1921

Hadoop-MapReduce MapReduce设计理念 map 映射(key value) reduce 归纳 mapreduce必须构建在hdfs之上一种大数据离线计算框架在线：实时数据处理离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果,他会有一定的延时如果数据量小,使用mapreduce反而不合适杀鸡用牛刀原始数据–>map(Key,Value)–>Reduce 分布式计算将大的数据切分成多个小数据，交给

2021-12-20 19:30:10 1153

原创 Hadoop高可用架构

Hadoop高可用架构设计思想 Hadoop2.x启用了主备节点切换模式当主节点出现异常的时候，集群直接将备用节点切换成主节点要求备用节点马上就要工作主备节点内存几乎同步有独立的线程对主备节点进行监控健康状态需要有一定的选举机制，帮助我们确定主从关系我们需要实时存储日志的中间件 ANN(Active NameNode) 记录信息元数据 block块与文件映射信息 DataNode与块映射信息运行时保持心跳数据存储在内存中 SNN(Standby NameNode) 基本与ANN一

2021-12-20 19:27:09 2204

原创大数据之Hadoop读写流程与2.X架构

Hadoop读写流程与2.X架构安全模式集群启动时的一个状态，处于安全模式的状态下，只向客户端提供文件的只读视图 HDFS的权限 HDFS对权限的控制只能防止好人做错事不能防止坏人做坏事你告诉他你是谁，他就认为你是谁！机架感知策略我们需要将副本放在不同的DN节点上，节点也需要一定的考量可靠性、可用性、带宽消耗第一个节点集群内部（优先考虑和客户端相同节点作为第一个节点）集群外部（选择资源丰富且不繁忙的节点为第一个节点）第二个节点选择和第一个节点不同机架的其他节点第三

2021-12-18 15:47:51 3810 2

原创大数据Spark之详细解读Spark-Sql

Spark Sql 简介 Shark Shark 是基于 Spark 计算框架之上且兼容 Hive 语法的 SQL 执行引擎，由于底层的计算采用了 Spark ，性能比 MapReduce 的 Hive 普遍快2倍以上，当数据全部加载在内存的话，将快10倍以上，因此 Shark 可以作为交互式查询应用服务来使用。除了基于 Spark 的特性外， Shark 是完全兼容 Hive 的语法，表结构以及 UDF 函数等，已有的 Hive Sql 可以直接进行迁移至 Shark 上 Shark 底层依赖于 Hi

2021-12-13 20:11:19 922

原创半天学会JavaScript

JavaScript 介绍 JavaScript 是一种具有面向对象能力的、解释型的程序设计语言。作用: 验证发往服务器端的数据、增加 Web 互动、加强用户体验度等。 JavaScript与java之间的关系: 雷锋与雷峰塔老婆与老婆饼周杰与周杰伦印度与印度尼西亚… JavaScript 的组成 : ECMAScript 核心语法 BOM 浏览器对象模型 DOM 文档对象模型使用方式 js的基础使用方式; 行内js : js代码定义在html元素标签上内部js : 通过script标签对定义在

2021-12-11 11:57:06 156

原创勾八二次元带你学习CSS

CSS 1.使用方式 1.使用方式: 行内样式表 : 在元素的开始标签上添加一个style属性,样式定义在style属性值中内部样式表 : head中定义style标签对,标签对中定义css样式外部样式表 : 在外部定义一个css文件,在要使用的html中通过link标签引入 2.CSS 层叠样式表为html中的元素添加样式相同的样式多个,会覆盖

2021-12-11 11:56:09 1721

原创一天学会HTML

HTML 1.基础 1.HTML 超文本标记语言 2.学习目标 : 各种各样的标签标签的作用标签的特点标签上的属性属性的值 3.分类: 双标签 | 闭合标签 : Title 单标签 | 自闭和标签 : 4.属性: 帮助更完整的展示标签的作用|功能(扩展标签的功能) 属性的签名必须添加空格属性名 = ‘属性值’ | “” 5. 版本声明这是h5的版本声明方式 6. &l

2021-12-11 11:55:09 270 2

原创学习SpringMVC的必经之路Servlet

Servlet Servlet创建创建war项目配置web.xml文件在src文件中的WEB-INF中的web.xml文件写入如下代码： <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo

2021-12-11 11:54:19 472

原创无敌的Maven教程

Maven maven简介简介在一个项目中，需要各种各样的jar包，若一个一个找的话，非常繁琐，若用上maven的话，繁琐的事情就简单起来了；maven提供maven是利用面向对象的思想，将项目当成一个对象，POM(project object modole)；maven方便了jar包的管理；仓库中央仓库私服仓库本地仓库 maven配置 maven下载官网https://maven.apache.org/download.cgi，下载自己想要的版本，下载好在找到文件夹解压到

2021-12-11 11:50:50 397

原创一篇文章学会Mybatis

Mybatis 配置环境核心配置文件 <?xml version="1.0" encoding="UTF-8" ?>  <typeAliases>

2021-12-11 11:50:03 216

原创大数据之超详细Kafka介绍

Kafka 简介消息中间件，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据用于消息解耦，削峰，异步通信优点解耦冗余扩展性灵活性&峰值处理能力可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。顺序保证在大多使用场

2021-12-11 08:47:11 1226

原创 Spring之IOC控制反转

加粗样式# IOC控制反转 spring.xml文件配置 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/s

2021-12-11 08:26:32 477

原创大数据Spark之一篇文章读懂Spark-Core

Spark-Core 介绍计算引擎，类似MapReduce，将数据存放在内存中，减少磁盘IO，他是有scala编写的总体技术栈讲解 Spark Streaming 流式计算框架 Spark GraphX 图形计算引擎 ML Base 机器学习 Spark SQL 使用SQL处理业务优点更快易于使用 Spark Sql 支持多种环境运行模式 Local 多用于本地测试，如在 eclipse ， idea 中写程序测试等。 Stan

2021-12-10 19:57:25 714

原创一篇文章读懂AOP

Spring AOP AOP，面向切面编程，当你想对某个类中的某个方法进行添加功能但又不想对源码进行修改，这个时候就可以用到AOP了；注解实现AOP 先配置xml文件，将AOP需要的信息配置好 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-

2021-12-10 14:36:53 243 4

qq_46060451的博客