Java架构师联盟

前言  某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机要想起飞, 需要向空管局申请航线, 申请成功后, 这位富人又雇佣了一位飞行员. 最后飞行员开启飞机, 这位富人如愿坐上心仪的飞机并翱翔天际.  上述流程可以概括为:设计图纸 --> 私人飞机 --> 空管局(申请航...

从你接触 Java开发到现在，你对 Java最直观的印象是什么呢？是它宣传的 “Compile once, run anywhere”，还是目前看已经有些过于形式主义的语法呢？你对于 Java平台到底了解到什么程度？请你先停下来总结思考一下。为此，解决主题问题之后，我还有其他的面试资料奉上今天我要问你的问题是，谈谈你对 Java平台的理解？“Java是解释执行”，这句话正确吗？典型回答...

前几天有个朋友问：30岁+的老程序员了，辞职一直找不到工作，投了10家公司却只收到2家公司的面试邀约，结果都不理想，很迷茫，不知道该不该继续......首先要明确的一点是：互联网行业现在确实没有之前好找工作了，而且现在面试的要求正常情况下是高于前几年的。比如：几年前你知道StringBuilder，HashMap与Hashtable的区别就能让你直接进入第二轮面试,但是现在被问HashMap与...

对Maven讲解：Maven配置通常我们安装了Maven之后会对Maven setting.xml(Maven的配置文件做一些自定义)，本章我们将详细地学习一下Maven setting.xml文件。文件位置一般存在与Maven安装的 Root File Path 的conf文件夹下：e.g.：setting.xml 概览<?xml version="1....

目录1、为什么使用Redis3、单线程的Redis为什么这么快5、Redis的过期策略以及内存淘汰机制6、Redis和数据库双写一致性问题7、如何应对缓存穿透和缓存雪崩问题8、如何解决Redis的并发竞争key问题1、为什么使用Redis分析:作者觉得在项目中使用redis，主要是从两个角度去考虑:性能和并发。当然，redis还具备可以做分布式锁等其他功能，但是如果...

关于任务调度，主要通过上面的这张图进行一个相应的讲解，在这张图里面主要分为两个部分，一是关于任务调度的流程，二是关于任务调度的重试机制，这也是我们spark优化的其中一个方面首先是RDD Object，这也就相当于我们的应用程序，当我们在开发一个application的时候我们会将一个个的RDD之间有了一个依赖关系，形成一个有向无环图，然后我们将这个有向无环图提交给DAGS...

目录一、说明 2二、系统环境搭建 31、网络配置(所有节点) 32、SSH免密码登录 33、关闭防火墙 34、关闭SELINUX 45、安装JDK 46、设置NTP 57、安装配置MySql 58、下载依赖包 7三、Cloudera Manager Server&Agent安装 81、安装Cloudera Manager Server&amp...

什么FlinkApache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算1、处理无界和有界的数据无界流有一个开始但没有定义的结束。它们不会在生成时终止并提供数据。必须持续处理无界流，即必须在摄取事件后立即处理事件。无法等待所有输入数据到达，因为输入是无界的，并且在任何时间点都不会完成...

文章目录Spark术语解释：MasterWorkerApplicationDriverExecutorJob关系之间的执行关系：任务层面资源层面Client1、尽量减少集群中各台服务器之间的性能差异，防止出现木桶效应2、便于维护集群，以防止出现危害集群的行为Cluster就像在一家公司里面总有明确的分工，每一哥部分负责自己的那一部分的任务，大家一起来维持公司的正常运转，同样的，spark就像是一...

目录HBase架构组成1.1 region server1.2 HBase HMaster1.3 Zookeeper1.4 这些组件如何一起协调工作1.5 第一次访问HBase深入region server2.1 HBase写数据与region server的交互1）写WAL2）写缓存2.2 HBase MemStroe2.3 HBase regio...

Zookeeper每一个专业的技术总可以在生活中找到相应的实例，就比如说zookeeper，攘其外必先安其内就很好的解释了zookeeper，Hadoop集群的组件中的很多在学习的时候都会觉得每一个都不稳定，都会出现这样那样的问题，会常常听到的一个词语就是高可用，在zookeeper的官方定义的时候在集群出现故障到解决故障正常执行的间隔时间小于200ms，在我们看来就是整个集群一直可用的错觉...

发的发射点发射点发

关于集群的搭建，其实就是说明书的使用问题，会用说明书，很简单，不会用说明书，只能去参考别人的智慧，针对这个情况，对于yarn的搭建，我就把官方文档的相关文档拿出来进行搭建1、打开官方网址hadoop.apache.org2、选择属于自己的hadoop版本，能看懂的直接看英文，看不懂的也可以借助浏览器的翻译功能，就会有下面的这样一个页面根据官方文档，我们知道，hadoop的设置分为单节...

首先来个简单的引入，我在处理环境进行映射的时候发现我没有hosts，那这样的话该怎么办呢？去网上搜了很多，在这里我进行简单的记录和整理1、第一种方法，直接创建hosts文件2、代码生成我们按下WIN+R呼出运行菜单，然后在运行菜单中输入：attrib %SystemRoot%\system32\drivers\etc\hosts -h -r -s然后我们继续在运行菜单中输入：notepa...

在前一博客中我们搭建了hdfs的开发环境，接下来我们要在idea中进行相应的代码开发1、引入依赖包<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version&...

初识大数据：在计算机刚刚出世的时候，其目的帮助人们解决大型数据的计算量的问题，计算机将大型数据的计算能力提高了很多倍，解决了人们对于数据的处理能力的瓶颈，可是，随着社会信息化的发展，网络将人们的生活提升到一个更加快速的级别，尤其产生的问题就是人们在日常生活中产生的信息数据越来越多，现有计算机设备的能力很难处理这些数据，或者能处理但是需要非常长的处理时间，而在这个信息化社会，时间就是金钱，过长的处...

在尽心到api的开发的时候涉及到开发环境的搭建，我发现，除了需要进行windows本地环境搭建意外，还需要进行集群环境搭建，但是可能有很多新手呢，不知道如何搭建，所以，我在这里呢，将环境搭建的简单小集群进行贡献，让大家可以进行简单的测试1、准备一台虚拟机，内存2G足以使用，网络、jdk均需要配置完成2、上传hadoop安装包并解压3、配置hadoop相应的设置4、格式化集群并启动简单吧，...