wise_nut的博客

原文链接: Flink–（一、初识Flink）. Flink 是什么 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink 的全球热度与为什么选择 Flink 流数据更真实地反映了我们的生活方式 传统的数据架构是基于有限数据集的 目标 Ø 低延迟 Ø 高吞吐 Ø 结果的准确性和良好的容错性 哪些行业需要处理流数据 电商和市场营销 Ø 数据报表、广告投放、业务流程需要 物联网（IOT） Ø 传感器实时数据采集和显示、实时报警，交通运输业 电信业 Ø 基

原文链接: Yarn – 资源调度器. 简介 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如下图所示： Yarn的工作机制 工作机制详解： MR程序提交到客户端所在的节点。 YarnRunner向ResourceManager申请一个

前言 最近一段时间，接触到公司flink代码，修改时遇到一个flink常见问题，就是上游Producer生产数据的效率大于下游Consumer的消费速度，所以查阅一些大佬的资料，将这一问题记录，后续系统学习flink的时候复习一下 Flink 流处理为什么需要网络流控？ 分析一个简单的 Flink 流任务，下图是一个简单的Flink流任务执行图：任务首先从 Kafka 中读取数据、 map 算子对数据进行转换、keyBy 按照指定 key 对数据进行分区（相同 key 的数据经过 keyBy 后分到同一个

原文链接： Zookeeper（二、分布式集群安装与命令行操作）. 1. 前置条件 安装Hadoop集群 链接： Hadoop（二、安装Hadoop-3.2.1集群）. 在hadoop100、hadoop101和hadoop102三个节点上部署Zookeeper。 使用的是Zookeeper-3.6.1版本 链接：https://pan.baidu.com/s/1PKpjntrFyT-yiF20EdlL_Q 提取码：c0ol 2．解压安装 上传压缩包到centos7 ，hadoop100机器上 # 使用

原文链接：Zookeeper（一、大数据之ZooKeeper基础与原理）. 1. 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 官网：link. 2. 特点 3. 数据结构 4. 应用场景 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 统一命名服务 统一配置管理 统一集群管理 服务器动态上下线 软负载均衡 5. Zookeeper内部原理 选举机制（重点） 半数机制：集群中半数以上机器存活，集群

1. HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，他是分布式的，由很多服务器联合起来实现其功能，集群的中的服务器都有各自的角色。 HDFS使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用（读写频繁的） 2. HDFS优缺点 1. 优点： 2. 缺点： 3、HDFS组成架构 ...

1、Hadoop运行模式 Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站： 链接: link. hadoop工程模块、相关工程包括哪些？如下图 hadoop 生态中，相关工程中：Hbase、Hive、spark、zookeeper是必学的 ...

原文链接 : Hadoop（二、安装Hadoop-3.2.1集群）. 1. 前置条件 准备3台虚拟机，关闭防火墙，修改主机名与ip，互相能ping通，设置ssh免密登录 jdk版本：java version “1.8.0_251” Hadoop版本：hadoop-3.2.1 链接：https://pan.baidu.com/s/1ygVjxxEl3aFIaFwJHwQD9g 提取码：mi8x 参考资料： 链接: VMware虚拟机网络连接的3种方式. 链接: Centos7 修改UUID、IP和主机名.

原文链接： Hadoop（一、Hadoop与大数据生态）. 1、Hadoop是什么 2、Hadoop发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache 版本最原始（最基础）的版本，对于入门学习最好（目前我所学习的版本）。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 其他的发行版本 ： Apache hadoop http://hadoop.apache.org/ Cloudera hadoop(CDH)