yuan_more的博客

数据治理是企业数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集存储计算和使用过程的可控和可追溯。如何构建企业数据治理体系？企业数据治理过程需要注意哪些问题？总体而言，不能一口一个胖子，路要一步一步地走。下面我将结合企业级数据治理经验，详细介绍从0到1搭建数据治理体系全流程，帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。

数仓建模首推书籍《数据仓库工具箱：维度建模权威指南》，。先来介绍下此书，此书是基于作者 60 多年的实际业务环境而总结的经验及教训，为读者提供正式的维度设计和开发技术。面向数仓和BI设计人员，书中涉及到的内容非常广泛，围绕一系列的商业场景或案例研究进行组织。强烈建议买一本实体书研究，反复通读全书至少三遍以上，你的技术将会有质的飞跃。数仓工具箱。

2023年最新大数据面试宝典，目前已更新到第4版，广受好评！

大数据面试：吹牛之前先打个草稿！

在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。Spark ShuffleSpark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的

在大学里，千万不要老师教什么，你就只学什么，这是远远不够的，对于我们大数据专业，甚至整个计算机专业的同学来说，大学四年最重要的能力就是自学。大学的课程不像高中那么紧，留给我们自学的时间还是比较多的，作为大数据专业的过来人，我真诚的劝学弟学妹们一句：一定要把握住课余时间，尽量不参与或者少参与无用的社团，将这些时间都用来学习计算机相关的知识，每天都坚持学，等你毕业找工作了，或者工作几年之后回过头来看，你会感谢我的。对于我们计算机相关的专业来说，课堂上老师教的内容只占我们要学习内容的二分之一甚至三分之一，其他

1. hive内部表和外部表的区别未被external修饰的是内部表，被external修饰的为外部表。区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这

公众号（五分钟学大数据）已推出大数据面试系列文章—五分钟小面试，此系列文章将会深入研究各大厂笔面试真题，并根据笔面试题扩展相关的知识点，助力大家都能够成功入职大厂！此面试题来自牛客网友分享的美团优选一面，面试时长一小时。网友情况：海外水本，在某三线中厂工作2年。参考答案由本公众号提供。如有错误，欢迎指正！以下为面试过程中提问，岗位为大数据开发，根据提问内容看出，主要偏数仓方向 自我介绍 到北京工作的意愿 SQL题，给一张城市和交易额表，一张城市对应省份表， 取.

RDD算子调优不废话，直接进入正题！1. RDD复用在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示：对上图中的RDD计算架构进行修改，得到如下图所示的优化结果：2. 尽早filter获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内存的占用，从而提升Spark作业的运行效率。本文首发于公众号：五分钟学大数据，欢迎围观，回复【书籍】即可获得上百本大数据书籍3. 读取大量小文件-用wholeTextFiles当我们将一个文本文件读

公众号（五分钟学大数据）已推出大数据面试系列文章—五分钟小面试，此系列文章将会深入研究各大厂笔面试真题，并根据笔面试题扩展相关的知识点，助力大家都能够成功入职大厂！大数据笔面试系列文章分为两种类型：混合型（即一篇文章中会有多个框架的知识点—融会贯通）；专项型（一篇文章针对某个框架进行深入解析—专项演练）。此篇文章为系列文章的第二篇（JVM专项）第一题：JVM内存相关（百度）问：JVM内存模型了解吗，简单说下答：因为这块内容太多了，许多小伙伴可能记不住这么多，所以下面的答案分为简答和精答。.

全套大数据开发面试题库教程，把各大公司的题库都给拿来了，总近千道面试题，此外还包含简历编写指导，面试技巧，还有一整套大数据面试复习的视频，让你在最短的时间内最高效复习大数据知识点本内容已更新至2020年最新版！此套资料的目标：备战面试和能力提升两不误；让你拿到最满意的offer！获取方式在下方第六节可持续关注本号，更多更有价值的资料将会在本号首发以下资料部分来自网上公开资源一、2021年大数据笔面试套装大数据最全的知识点总结：大数据各大框架面试题，带完整答案（总共36

本公众号（五分钟学大数据）将推出大数据面试系列文章—五分钟小面试，此系列文章将会深入研究各大厂笔面试真题，并根据笔面试题扩展相关的知识点，助力大家都能够成功入职大厂！大数据笔面试系列文章分为两种类型：混合型（即一篇文章中会有多个框架的知识点—融会贯通）；专项型（一篇文章针对某个框架进行深入解析—专项演练）。此篇文章为系列文章的第一篇（混合型）第一题：大数据笔试题-Java相关（美菜网）写出下列程序的输出：class Father{ static { System.ou.

不懂hive中的explain，说明hive还没入门，学会explain，能够给我们工作中使用hive带来极大的便利！理论本节将介绍 explain 的用法及参数介绍HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助使用语法如下：EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] queryexplain

版本时间描述V1.02020-12-18创建V1.22021-01-17新增 spark 面试题V1.32021-01-18新增 kafka 面试题V1.42021-01-20新增 hbase 面试题V1.52021-01-30新增 flink 面试题复习大数据面试题，看这一套就够了！持续更新中…文章更新首发于公众号：五分钟学大数据获取此套面试题最新pdf版，请搜索公众号【五分钟学大数据】，对话框发送 面试宝典此套面试题来自于...

本文首发于公众号：五分钟学大数据在面试的时候，发现很多面试官特别爱问Kafka相关的问题，这也不难理解，谁让Kafka是大数据领域中消息队列的唯一王者，单机十万级别的吞吐量，毫秒级别的延迟，这种天生的分布式消息队列，谁能不爱？在最近的一场面试中，有个面试官看到简历中的项目上写Kafka了，就直接开问Kafka，其他问题基本没问。下面来看下面试官的Kafka八连问：（以下答案是参考网上资料整理而成，实际面试时只回答了大约三分之一）1. 为什么要使用 kafka？缓冲和削峰：上游数据时有突发流量，