大数据记录

作者：姿势帝https://www.cnblogs.com/newAndHui/p/12451882.html潜规则1：面试的本质不是考试，而是告诉面试官你会做什么很多刚入行的小伙伴特别容易犯的一个错误，不清楚面试官到底想问什么，其实整个面试中面试官并没有想难道你的意思，只是想通过提问的方式来知道你会什么比如：面试官提问在实际项目中你们是怎么样使用缓存的？初入行回答：使用redis，key-value存放但是面试官可能是想知道：一般在业务中缓存什么样的数据，为什么要缓存这些数据，缓存数据如何保证实时性，如果

         Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。         影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。架构优化

         最近看了好多粉丝的面试题，于是总结出关于HBase相关的面试题，今天分享给大家，认真观看，记得收藏一、讲一下 Hbase 架构Hbase主要包含HMaster/HRegionServer/ZookeeperHRegionServer 负责实际数据的读写. 当访问数据时, 客户端直接与RegionServer通信.HBase的表根据Row Key的区域分成多个Region, 一个Region包含这这个

导语最近也是到了准备面试的时候了于是老哥我也自己整理了一些关于Hive的常问的面试题于是跟大家分享下，同时我也会将这些题目同步到GitHub上GitHub还有好多资源如Flink面试题，Spark面试题，程序员必备软件，hive面试题，Hadoop面试题，Docker面试题，简历模板请去下方链接下载 https://github.com/lhh2002/Framework-Of-BigData对你们有帮助记得 star 。希望打算换工作的朋友或找工作的朋友对你们有些帮助，最后预祝大家新的一年升职加薪，好

1、集群的最主要瓶颈  磁盘IO2、Hadoop运行模式  单机版、伪分布式模式、完全分布式模式3、Hadoop生态圈的组件并做简要描述  1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。  2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。  3）Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。  4）Hive：基于Hadoop的一个数据仓库工具

前言         我们在数仓项目的时候往往是需要将它分层的，但是为什么分层你真正的了解过吗，那它分层的好处又是什么呢。好我们今天就针对这个话题进行讲解。如果你还不了解数仓中的模型可以去看这篇（数仓模型设计详细讲解）,编写不易请给个一键三连。一、为什么要分层         分层的主要原因是在管理数据的时候，能对数据有一个更加清晰的掌控，详

前言         今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。一、维度建模基本概念         维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分

前言         有没有去面试的时候被问到Flink的面试题你答不上来，为什么那？，菜吗？ 不是。原因是你接触的面试题太少了，那我今天就根据不同的群体来给大家你分享。1 Flink基础（适合初入职场）简单介绍一下 FlinkFlink相比传统的Spark Streaming区别?Flink的组件栈有哪些？Flink 的运行必须依赖 Hadoop组件吗？你们的Flink集群规模多大？Flink的基础编程模型

前言        上篇文章给大家分享了前10个spark的企业面试题2020年最新Spark企业级面试题【上】，今天后续来了，来分享剩下的那个几个面试题。也祝大家找到自己喜欢的工作，一起加油，编写不易 请给老哥一个一键三连吧。一、手写Spark-WordCount在这里就有好多小伙吧说了，手写wordCount不简单吗？一点逻辑都没有，虽然你在idea中写的非常熟练，但是真到了面试的时候就有好多小伙伴写不出来了，往往越

前言         现在距离2021年还有不到一个月的时间了，是不是有的小伙明年不知该怎么复习spark，以及不知道该备战企业中会问到那些问题。好今天他来了总结了20个企业中经常被问到的面题以及会附带一些笔试题哦，编写不易建议收藏。一、 Spark 有几种部署方式？spark 中的部署模式分为三种 Standalone， Apache Mesos， Hadoop YARN，那他们分别有啥作用那？Standalon

你还不知道怎么跟面试官聊你的技术吗，原来你的面试过程中出现了这么多的问题你自己还不知道？还不快看看这篇文章？ 别忘了一键三连

         上篇文章给家讲解了Hadoop的面试题，Hive是踩在巨人的肩膀上的一个数据仓库组件，看看企业问那些问题吧。一、什么是Hive? 为什么要有hive         很多时候面试以上来就问什么是Hive，有了MapReduc为什么还要有hive呀。很多小伙伴回答的都不是很好，好，那大数据老哥来个大家讲解下。Hive是基

一、 你说你深刻理解MR的工作流程,你给我讲一下吧1. 在客户端执行submit()方法之前,会先去获取一下待读取文件的信息 2. 将job提交给yarn,这时候会带着三个信息过去(job.split(文件的切片信息),jar.job.xml) 3. yarn会根据文件的切片信息去计算将要启动的maptask的数量,然后去启动maptask 4. maptask会调用InPutFormat()方法区HDFS上面读取文件,InPutFormat()方法会再去 调用 RecordRead()