大数据面试·漫谈

最新推荐文章于 2025-01-09 16:02:30 发布
最新推荐文章于 2025-01-09 16:02:30 发布
阅读量187 收藏
点赞数
分类专栏： 面试笔试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010823625/article/details/107065701
版权
本文探讨了大数据领域的核心概念，包括数据仓库的定义，数据湖作为元数据存储的角色，以及数据中台如何实现数据共享和消除数据孤岛。此外，还强调了列式存储的优势，如压缩和提升扫描性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据面试·漫谈

数据仓库、数据湖、数据中台

  • 数据仓库(Data Warehouse)是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合
  • 数据湖：元数据的存储地
  • 数据中台：数据共享，连通数据孤岛

列式存储的好处

  • 支持压缩
  • 只读取需要的列，能够获取更好的扫描性能
  • 支持向量运算
数据中台高频面试题及参考答案（持续更新）
大模型大数据攻城狮的专栏
06-27 1308
数据脱敏，又称为数据屏蔽或数据混淆，是一种信息安全技术，旨在保护敏感信息和隐私数据免受未经授权的访问或泄露。它通过在保留数据格式和结构的同时，对原始数据中的敏感部分进行有策略的修改或替换，生成一个看似真实但不含实际敏感细节的数据副本。这样处理后的数据可以在非生产环境，如开发、测试、分析或培训等场景中安全使用，既保证了数据的可用性，又维护了数据主体的隐私安全。数据脱敏的方法多样，包括替换、掩码、哈希、随机化、扰码等，可根据不同数据类型的特性和安全要求选择合适的脱敏策略。
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1656
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
京东数据中台面试
愤怒的凹凸曼的博客
09-03 1180
京东： 一面： 1、springMVC执行过程 2、线程池执行流程 3、redis分布式锁 4、redis热key会产生什么问题，怎么解决，大量请求访问redis的一个分片，redis崩溃，怎么解决 5、springCloud 微服务间调用，TCP,HTTP区别 6、@Trans 默认回滚什么异常，什么情况下会失效 7、mysql 存储引擎数据结构 8、sql慢查询优化 9、mysql 主从同步 10、mybatis mapper中的方法怎么定位到sql语句 11，hashMap扩容为什么是2倍
数据中台数据可视化面试
weixin_41788004的博客
08-08 91
数据中台数据可视化面试指导 在进行“数据中台数据可视化面试”之前，了解整个流程非常重要。本文将帮助你理清思路，并提供相关的代码示例，确保你能顺利完成面试。 一、数据可视化流程步骤 以下是实现数据可视化的基本步骤： 步骤 描述 1. 确定数据源 明确需要可视化的数据来源，例如数据库、API等。 2. 数据获...
网易一面（数据中台—java）面经
九分石人的博客
07-03 420
面经 写面经，攒人品 项目介绍 redis分布式锁怎么实现？ 还有其他的实现思路？具体怎么实现？（数据库，zk） redis分布式控制抢单，可不可以用数据库乐观锁？ 数据库乐观锁怎么实现？ redis哨兵模式讲一下？ 哨兵和机器间如何通信（ping，pong）? 哨兵如何选举leader? mvcc讲一下？ mvcc的目的？原理？场景？ 数据库隔离级别的作用？场景 redo log，undo log，bin log分别说一下？ 这些是在什么阶段产生的？ mysql模块说一下？那些产生什么日志？ mysq
数据仓库、商业智能相关面试题(带答案)
06-21
数据仓库、商业智能相关笔试题、面试题(带答案)
2024年大数据最新【Flink】（05）Apache Flink 漫谈系列 —，2024年最新征服大数据开发面试官
2301_77033583的博客
05-09 369
** key字段的列表, FlatFieldDescriptor 描述了每个key, 在所在类型中的位置以及key自身的数据类信息 *//** 根据提取的key，最大并行度，以及输出通道数，决定出record要转发到的通道编号 *//** 包含key的数据类型的类型信息, 与构造函数入参中的字段顺序一一对应 *//** 如果传入的输出数据类型信息为null，则尝试提取输出数据的类型信息 *//** 通过keySelector从传入的record中提取出对应的key */
大数据框架和数仓高频面试题总结
数据与算法架构提升之路专栏
02-15 2195
优化面试题和排版，更加聚焦目标 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出 之后会进行一个partition分区操作，默认使用的是hashpartitio...
大数据SQL优化原理与实践系列之认知篇（一）
最新发布
LZC514302的博客
01-09 633
在大数据发展历程中，我们经历了从开源组件的百花齐放到场景化查漏补缺、一体化集成平台的建设，再到理论体系和数据治理的深化。当前阶段强调的是精益管理和降本增效，如湖仓一体架构的提出以及MPP数据库在查询性能上的优化，都是为了适应更高效的市场需求。 对于SQL语言而言，其声明式特性极大地简化了数据操作，使得SQL成为大数据处理不可或缺的一部分。然而，编写高效SQL语句仍需深刻理解优化器原理（CBO、RBO），这对从业者提出了更高要求。
关于数据仓库面试题的整理
u011868279的博客
03-13 1289
关于数据仓库面试题的整理
字节数据中台日常实习面经
weixin_44409077的博客
08-30 1789
流程 6.22 牛客投的 6.29 hr打电话通知面试 数据中台 当天下午一面 面完40分钟就通知二面了 7.2 二面 面完第二天通知挂了 面经 一面 30min 一面体验超好，主要是问计网这块我很熟，面试官是一个小姐姐，人很和善，回答问题后有正向反馈 介绍自己 介绍项目 字节两面都主要是问我在导师实验室做的嵌入式项目的，而没问Web服务器项目，这个还挺意外的 问了后台服务器在收到数据后是怎么处理的，这个面试官应该是想问连接数据库的一些东西，但是导师的项目最后没有做这部分，也就没有深入 TCP是怎么保
大数据常见面试题及答案
遐想者
03-25 3万+
大数据常见面试题及答案，大部分都有涉及
漫谈数据中台
12-03
随着阿里提出“小前台、大中台”的概念，中台一度成为了市场上的热点，但实际上，对于中台，特别是数据中台的定义和概念，并没有一个统一的标准，很多人也对数据中台感动困惑和迷茫，本次演讲试图从智领云的角度，来为大家展示我们对于数据中台的理解和观点，以帮助广大观众更加深入的理解数据中台。
数据中台应该包含什么？
架构师小秘圈
01-20 678
作者丨魏文庆www.infoq.cn/article/Zyq4a*yEI1Uz2iwHFJuF作者：魏文庆，现任网易严选数据技术及产品部总监。2007年浙江大学计算机硕士毕业后入职网易杭...
八问数据中台：关于数据中台你想知道的都在这里！
热门推荐
Julia & Rust & Python
04-10 4万+
八问数据中台：关于数据中台你想知道的都在这里！ 原创： 筱愚她爸 凯哥讲故事系列 1周前 数据中台最近特别火，各个企业都在关注如何构建自己的数据中台，利用数据中台打造数据驱动的经营能力。数据中台的概念漫天飞，作为最早为企业提供数据中台构建服务的实践者，我们希望将一些落地的经验和教训给到那些正在考虑建设数据中台的企业。 我们将一些大家关注的核心问题整理出来，做成N问数据中台（先出八问），结合真实...
全面解读数据中台，让企业实现数字化转型
01-10 6429
http://www.sohu.com/a/276692256_391226 伴随着云计算、大数据、人工智能等IT技术迅速发展及与传统行业实现快速融合，一场由数字化和智能化转型带来的产业变革正在孕育。 随着企业规模不断扩大、业务多元化——中台服务架构的应运而生。“中台”早期是由美军的作战体系演化而来的，技术上说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。阿里在今年发布“...
关于数据中台系统，需要了解哪些技术？
架构师技术联盟
12-16 1万+
导读：之前整理了一篇“全面解读数据中台，让企业实现数字化转型”文章，阐述了什么是数据中台、建立的原因和原则。今天让我们全面解读中台，包括企业为什么要平台化，目前中台都有哪...
数据中台已成下一风口，它会颠覆数据工程师的工作吗？
Julia & Rust & Python
03-19 7773
数据中台已成下一风口，它会颠覆数据工程师的工作吗？ 原创： 史凯 AI前线 昨天 采访嘉宾｜史凯 整理｜Natalie 编辑｜Debra AI 前线导读：数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享，并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 3 月 15 日 ThoughtWorks 技术雷达峰会上，关于数据中台的话题也获得了众多参会者的热烈关注。如今似...
漫画：什么是中台？
程序员小灰的博客
09-17 9807
没有中台的时代在传统IT企业，项目的物理结构是什么样的呢？无论项目内部的如何复杂，都可分为“前台”和“后台”这两部分。什么是前台？首先，这里所说的“前台”和“前端”并不是...
大数据价值实现之道：2019大数据漫谈
根据给定文件信息，我们将详细探讨大数据的价值及其如何在实践中发挥作用。需要澄清的是，尽管【标签】中提到"C#"，但这似乎与标题和描述中的“大数据怎么发挥大价值2019”不直接相关，因此我们不会在知识点中包含与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值