Java学习路线!java大数据开发心得,2021最新版!

23篇大数据系列(一)java基础知识全集(2万字干货,建议收藏)(1) /方法:获得老师所教授的课程名System.out.println(name + “老师所教授的课程是”+ teachClass);//具体对象的属性值}``}ok,通过以上示例,希望大家对于java的类和对象有了一个初步的概念和了解。那么,:它是面向对象软件开发的核心思路,提高了开发效率。面向对象程序设计的抽象、继承、封装和多态四大特点都围绕这个核心。:它使面向对象设计脱离了基于模块的设计,便于软件的修改。接下来就针对Java的4 个特性进行讲解,来了解一下它们是如何实现代码重用和扩展的。 阅读详情

NO1:说说zookeeper是什么?

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现(Chubby是不开源的),它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户 。

Zookeeper一个最常用的使用场景就是用于担任服务生产者和服务消费者的注册中心,服务生产者将自己提供的服务注册到Zookeeper中心,服务的消费者在进行服务调用的时候先到Zookeeper中查找服务,获取到服务生产者的详细信息之后,再去调用服务生产者的内容与数据,简单示例图如下:

Zookeeper面试常见的11个连环炮

NO2:了解Zookeeper的系统架构吗?

ZooKeeper 的架构图中我们需要了解和掌握的主要有:

(1)ZooKeeper分为服务器端(Server) 和客户端(Client),客户端可以连接到整个 ZooKeeper服务的任意服务器上(除非 leaderServes 参数被显式设置, leader 不允许接受客户端连接)。

(2)客户端使用并维护一个 TCP 连接,通过这个连接发送请求、接受响应、获取观察的事件以及发送信息。如果这个 TCP 连接中断,客户端将自动尝试连接到另外的 ZooKeeper服务器。客户端第一次连接到 ZooKeeper服务时,可以接受这个连接的 ZooKeeper服务器会为这个客户端建立一个会话。当这个客户端连接到另外的服务器时,这个会话会被新的服务器重新建立。

(3)上图中每一个Server代表一个安装Zookeeper服务的机器,即是整个提供Zookeeper服务的集群(或者是由伪集群组成);

(4)组成ZooKeeper服务的服务器必须彼此了解。它们维护一个内存中的状态图像,以及持久存储中的事务日志和快照, 只要大多数服务器可用,ZooKeeper服务就可用;

(5)ZooKeeper 启动时,将从实例中选举一个 leader,Leader 负责处理数据更新等操作,一个更新操作成功的标志是当且仅当大多数Server在内存中成功修改数据。每个Server 在内存中存储了一份数据。

(6)Zookeeper是可以集群复制的,集群间通过Zab协议(Zookeeper Atomic Broadcast)来保持数据的一致性;

(7)Zab协议包含两个阶段:leader election阶段和Atomic Brodcast阶段。

  • a) 集群中将选举出一个leader,其他的机器则称为follower,所有的写操作都被传送给leader,并通过brodcast将所有的更新告诉给follower。
  • b) 当leader崩溃或者leader失去大多数的follower时,需要重新选举出一个新的leader,让所有的服务器都恢复到一个正确的状态。
  • c) 当leader被选举出来,且大多数服务器完成了 和leader的状态同步后,leadder election 的过程就结束了,就将会进入到Atomic brodcast的过程。
  • d) Atomic Brodcast同步leader和follower之间的信息,保证leader和follower具有形同的系统状态。

NO3:能说说Zookeeper的工作原理?

Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。

Zab协议有两种模式,它们 分别是恢复模式(选主)和广播模式(同步)。

Zab协议 的全称是 Zookeeper Atomic Broadcast** (Zookeeper原子广播)。Zookeeper 是通过 Zab 协议来保证分布式事务的最终一致性。Zab协议要求每个 Leader 都要经历三个阶段:发现,同步,广播。

当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数Server完成了和 leader的状态同步以后,恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。

为了保证事务的顺序一致性,zookeeper采用了递增的事务id号(zxid)来标识事务。所有的提议(proposal)都在被提出的时候加 上了zxid。实现中zxid是一个64位的数字,它高32位是epoch用来标识leader关系是否改变,每次一个leader被选出来,它都会有一 个新的epoch,标识当前属于那个leader的统治时期。第32位用于递增计数。

epoch:可以理解为皇帝的年号,当新的皇帝leader产生后,将有一个新的epoch年号。

每个Server在工作过程中有三种状态:

  • LOOKING:当前Server不知道leader是谁,正在搜寻。
  • LEADING:当前Server即为选举出来的leader。
  • FOLLOWING:leader已经选举出来,当前Server与之同步。

NO4:Zookeeper为什么要这么设计?

ZooKeeper设计的目的是提供高性能、高可用、顺序一致性的分布式协调服务、保证数据最终一致性。

高性能(简单的数据模型)

  1. 采用树形结构组织数据节点;
  2. 全量数据节点,都存储在内存中;
  3. Follower 和 Observer 直接处理非事务请求;

高可用(构建集群)

  1. 半数以上机器存活,服务就能正常运行
  2. 自动进行 Leader 选举

顺序一致性(事务操作的顺序)

  1. 每个事务请求,都会转发给 Leader 处理
  2. 每个事务,会分配全局唯一的递增id(zxid,64位:epoch + 自增 id)

最终一致性

  1. 通过提议投票方式,保证事务提交的可靠性
  2. 提议投票方式,只能保证 Client 收到事务提交成功后,半数以上节点能够看到最新数据

NO5:你知道Zookeeper中有哪些角色?

系统模型:

领导者(leader)

Leader服务器为客户端提供读服务和写服务。负责进行投票的发起和决议,更新系统状态。

学习者(learner)

  • 跟随者(follower) Follower服务器为客户端提供读服务,参与Leader选举过程,参与写操作“过半写成功”策略。
  • 观察者(observer) Observer服务器为客户端提供读服务,不参与Leader选举过程,不参与写操作“过半写成功”策略。用于在不影响写性能的前提下提升集群的读性能。

客户端(client):服务请求发起方。

NO6:你熟悉Zookeeper节点ZNode和相关属性吗?

节点有哪些类型?

Znode两种类型:

持久的(persistent):客户端和服务器端断开连接后,创建的节点不删除(默认)。

短暂的(ephemeral):客户端和服务器端断开连接后,创建的节点自己删除。

Znode有四种形式:

  • 持久化目录节点(PERSISTENT):客户端与Zookeeper断开连接后,该节点依旧存在持久化顺序编号目录节点(PERSISTENT_SEQUENTIAL)
  • 客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号:临时目录节点(EPHEMERAL)
  • 客户端与Zookeeper断开连接后,该节点被删除:临时顺序编号目录节点(EPHEMERAL_SEQUENTIAL)
  • 客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

「注意」:创建ZNode时设置顺序标识,ZNode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。

结局:总结+分享

看完美团、字节、腾讯这三家的一二三面试问题,是不是感觉问的特别多,可能咱们真的又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。

开篇有提及我可是足足背下了Java互联网工程师面试1000题,多少还是有点用的呢,换汤不换药,不管面试官怎么问你,抓住本质即可!能读到此处的都是真爱,所以福利也为你准备,这份1000题免费送你!点击这里免费领取

  • Java互联网工程师面试1000题

image.png

而且从上面三家来看,算法与数据结构是必备不可少的呀,因此我建议大家可以去刷刷这本左程云大佬著作的 《程序员代码面试指南 IT名企算法与数据结构题目最优解》,里面近200道真实出现过的经典代码面试题。

  • 程序员代码面试指南–IT名企算法与数据结构题目最优解

image.png

  • 其余像设计模式,建议可以看看下面这4份PDF(已经整理)

image.png

  • 更多的Java面试学习笔记如下,关于面试这一块,我额外细分出Java基础-中级-高级开发的面试+解析,以及调优笔记等等等。。。

image.png

QrDdF-1624325089520)]

  • 更多的Java面试学习笔记如下,关于面试这一块,我额外细分出Java基础-中级-高级开发的面试+解析,以及调优笔记等等等。。。

[外链图片转存中…(img-yvpEP3D6-1624325089520)]

以上所提及的全部Java面试学习的PDF及笔记,如若皆是你所需要的,那么都可发送给你!

2022最新大数据学习路线,超详细 昨天有同学问我,有没有最新的大数据学习路线呢,他做Java有几年了,想晋升大数据开发方向,有基础有资料,不过没有系统的学习路线,大大拖慢了他学习的进度。今天就给大家分享一下2022最新的大数据学习路线(仅供参考)。零基础的学员也适合哦! 阅读详情

相关推荐

非科班转行大数据开发--最详细的学习路线

大数据开发学习之路分为三个阶段 主要是根据面试重点,分成阶段性学习。 第一阶段:Java部分 Java基础、JVM、并发、数据库、缓存、设计模式、计算机网络、操作系统、Linux第二阶段:大数据框架 MapReduce、YARN、HDFS、HBase、Hive、Zookeeper、Spark、Storm、Flink、Kafka第三阶段:面试就业 封装项目、面经、简历、面试流程、软素质...

李旭的博客 1975

Java处理大数据的技巧

大数据处理是现代计算机科学中的一个重要领域,通过高效的算法和工具,我们可以从大量数据中提取有价值的信息。本文将介绍一些处理大数据的技巧和策略,并讨论如何通过Java与MySQL实现高效的大数据处理。

A_aspectJ的博客 1645

当vCenter的证书过期、Root密码过期、Root密码遗忘同时发生时的解决方法与步骤

vCenter,强制修改root密码,修改SSO User密码,修复证书过期问题

OCTSJimmy的专栏 5559

大数据开发学习路线及规划

大数据开发学习路线及规划

bwjyat1的博客 2447

LIO-SAM编译ubuntu20.04 Noetic

一、下载二、编译&&解决报错报错如下。

Kenneth666888的博客 690

关于MOS管栅极和栅介质(氧化物)的材料选择

大概解释了高K材料作为栅介质的好处,以及为什么会带来好处,同时引出了金属栅的优点,总结了使用高K材料和金属栅的原因。

qq_52054477的博客 1万+

JAVA开发搞了一年多大数据的总结

JAVA开发搞了一年多大数据的总结

m0_46995061的博客 1714

别再手动算电阻了!手把手教你从ITF/IRCX文件自动生成EMX工艺文件(附脚本思路)

本文详细介绍了如何从ITF/IRCX文件自动生成EMX工艺文件,提升芯片设计效率。通过解析厚度变化多项式和电阻率查表,实现工艺文件的高效转换,避免手动处理带来的错误。文章还提供了脚本思路和验证方法,确保数据精确度,特别适用于电感仿真等关键环节。

didui8202的博客 456

Java及大数据学习路线

#1.JavaSE

zhqw123的博客 1359

嵌入式开发之瑞芯微RK356x--基本环境搭建

嵌入式环境搭建

NexyHO的博客 618

Python接入企业微信群机器人图文教程,实现恐贪指标自动触发微信消息提醒功能!Python 企业微信 群机器人 消息提醒 Webhook 企业微信接口

✅ 企业微信群机器人的添加方式;✅ 如何获取 Webhook 地址;✅ Python 如何用 requests 发消息;✅ 如何在实际业务中触发自动提醒;这种方式不仅适合个人开发者、测试人员,也适用于小团队、运维通知等场景,部署简单、触发灵活、响应及时!

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 916

2021年Java后端开发学习路线(建议收藏!)

2021的Java后端开发的学习路线 欢迎使用Markdown编辑器 大家好! 这是你第一次写优快云的博客。下面我为大家来介绍一下2021年学习Java的路线,让初学者少走弯路跟着路线走,一定可以找到心仪的offer。还请大家不吝赐教。学习路线大致分为十部分和一个扩展。 第一部分:Java基础 Java基础部分:初学者在初学Java时一定不要好高骛远,认认真真打好基础才行。虽然基础部分有点枯燥无味但是选择了就得坚持下去。罗马并非一日建成。如今基础课程娱乐混杂,选对精品很重要。B站上很多视频,大家可以去试听

weixin_44199207的博客 4万+

RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制

Hello,各位读者们好Hello,各位读者,距离第一天发RT-DETR的博客已经过去了接近两个月,这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用,旨在为大家解决为什么用v8的仓库训练的时候模型不收敛,精度差的离谱的问题,我也是成功的找到了解决方案,对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。

Snu77的博客 3万+

2021最全大数据学习路线(建议收藏)

大数据是未来的趋势,在数字化转型时代,把握大数据是关键的!

小林玩大数据 10万+

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

2020最新版大数据学习路线

前言 学习路线图仅供大家学习参考,路线图中教程是否发布以尚硅谷官网为准! http://www.atguigu.com/bigdata_video.shtml#bigdata以此显示为准,显示有即可直接下载,没有的话,可以收藏一下,等待未来发布。全部路线以官网路线为主,视频为B站公开视频,相关资料,可去相关视频页面查找,或直接去官网下载。 一、Java基础 1.Java基础视频教程715集:h...

杨丙寅 7737

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Java开发的学习路线

五年java开发的学习路线前言一、入门级开发1、java基础加提升2、Javaweb3、框架4、项目二、夯实基础1、Java基础2、设计模式3、代码优化4、项目调优5、并发编程6、框架源码7、重复造轮子三、脱颖而出1、专精一个领域2、扩大自己影响力最后 前言 做java开发不到四年,自己的知识树还像一棵小草一样,系统性不够、根基不牢、不够深入!不久即将迈入5年码龄,面对这个分水岭,迷茫恐惧的一个不止我自己吧。只有将自己的知识树成长的更好更健壮,机会来临的时候,才能握住它! 一、入门级开发 1、java

xgb2018的博客 7399

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

最新版最全面的 Java+AI 学习路线来了!(2025 版)

首先,Java作为企业级应用的基石,在金融、电商、物流等领域仍然占据核心地位,其跨平台能力、稳定性和安全性使其在复杂业务场景中不可替代。同时,AI工具链的成熟也为Java开发者提供了新的机遇,通过学习机器学习框架和AI算法,开发者可以将AI能力嵌入传统Java应用中,提升系统的智能化水平。分布式锁(Redisson、ZooKeeper)分库分表(ShardingSphere)分布式事务(Seata)中间件:Redis(缓存/分布式锁)、RabbitMQ(消息队列)、Elasticsearch(搜索)

Leaton的博客 1万+

【大数据】大数据学习路线

首先明确一点:大数据涉及的知识面广度还是有的,需要学习的组件繁多,想要每一项精通几乎不可能,所以企业在招聘的时候会进行细分,基于某个方向进行招聘,比如关键字,数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重,保证自己兴趣所致并重点关注。

大壮 6652

问我大数据怎么入门,我总结了亲身体验的学习路线推荐给她【推荐收藏】

前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大数据该如何入门?我不禁感慨普通高校擅长培养算法人才,但在工程人才的培养上存在很多的问题。

Maynor的博客 5688

【Java全栈学习路线】最全的Java学习路线及知识清单,Java自学方向指引

自学Java怎么学,找对方向最关键!在这里为大家分享最全的Java全栈学习路线及知识清单!

小新要变强的博客 6万+

从零开始的大数据技术学习路线指南:带你轻松成为大数据开发工程师!

之前有不少小伙伴留言和私信我关于大数据学习路线,以及咨询我一些关于有工作经验想转行大数据的问题,只言片语也讲不清。我花了一个月整理了一份我当初学习的大数据学习路线,从最基础的大数据集群搭建开始,希望能帮助到大家。

云祁QI 2万+

Java后端学习路线

Spring全家桶无疑是Java的里程碑,要掌握SSM框架的思想,实际动手完成SSM框架的项目,SpringBoot是找工作的必备神器,也要动手完成SpringBoot的相关项目,如黑马的SSM项目。分布式/微服务部分,区分程序员水平的就是能否处理大的数据、大的业务,分布式的学习能让你提升一个层次,但是还是应该把注意力更多的集中到编程基础部分的学习中(不然这么多技术学到头秃),可以结合尚硅谷的谷粒商城项目进行练习,对于Docker容器技术也可以稍加了解。工欲善其事,必先利其器。.........

weixin_44057803的博客 8910

最新版最全面的 Java+AI 学习路线来了!(2025 版)_ai学习路线

前言阶段1 Java基础与核心编程(2~3个月)技术栈:Java基础语法、面向对象、集合框架、IO/NIO、多线程、网络编程MySQL数据库、JDBC、SQL优化数据结构与算法(链表、树、排序算法)Git、Maven、IDEA 工具核心项目:图书管理系统(控制台版):综合运用集合、IO、JDBC简易版聊天室(Socket 编程 + 多线程)学习资源:黑马 《JavaSE 基础入门》书籍:《Java核心技术卷 I》 《Effective Java》

jennycisp的博客 2976

大数据学习路线发展方向(表格一目了然)BigData

大数据学习路线发展方向

刘鑫磊 1261

小白自学---Java后端开发学习路线(建议收藏!)

java从入门到入坟!

qq_40896017的博客 9852
上一篇: Java入门教程!java的测试类测试步骤,快来收藏!
下一篇: Java小技巧:java反射和映射机制,总结到位
普通网友
博客等级 码龄6年 39粉丝 387原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值