面试问题
问:什么是大数据?
答:大数据是一个术语,它描述了大量的数据集,这些数据集在数据库管理工具或传统数据处理技术的帮助下非常难以捕获,存储,处理,检索和分析。
从网上摘录的对MapReduce的最简洁明了的解析::
我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”,我们人越多,数书就更快。
现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。
问:大数据有什么特点?
1.体积收集各种来源的数据,包括社交媒体,股票市场,飞机,电子商务网站。
2.Variety-数据的类型和性质(音频,图像,视频)。
3.速度 - 数据产生的速度非常大。
问:如何分析大数据对组织有用?
答:大数据分析的主要目标是做出良好的决策。组织将学习哪些领域需要关注,哪些领域不那么重要。它提供了一些可以防止公司遭受巨大损失的早期指标。大数据可以借助数据挖掘工具,文本分析,静态方法,主流BI软件和可视化工具等软件工具进行分析。
问:处理大数据有哪些挑战?
1.困难 - 捕获,存储,搜索,共享,分析
2.数据存储 - 物理存储,采集,空间和电力成本
3.数据处理 - 信息和内容管理。
问:传统RDBMS和Hadoop之间的基本区别是什么?
答:RDBMS是一个传统的行列数据库,用于事务性系统来报告和存档数据,而Hadoop是一种将大量数据存储在分布式文件系统中并对其进行处理的方法。 Hadoop可以处理比关系数据库更大的数据。与hadoop在非结构化数据上工作不同,RDBMS在结构化数据上工作。
问:什么是Hadoop?
答:当大数据出现问题时,Apache Hadoop发展成为一个解决方案。 Apache Hadoop是一个为我们提供各种服务或工具来存储和处理大数据的框架。 Hadoop被Google,IBM,Yahoo等主要玩家所使用。
问:hadoop处理数据的格式是什么?
A. Hadoop以键/值格式处理数据。
问:为什么文件在HDFS中以冗余方式存储?
答:确保耐久性的失败。
问:什么是HDFS?
A. HDFS(Hadoop分布式文件系统)是Hadoop的存储单元。它负责在分布式环境中将不同类型的数据存储为块。它遵循主从架构。
问:什么是Namenode?
A.名称节点是系统的主人。这是HDFS中的高可用性机器和单点故障。 Namenode保存HDFS的元数据,如命名空间信息,块信息等
问:datanode失败时会发生什么?
A.当datanode失败时:
•名字节点检测数据节点的故障。
•在失败的datanode上,所有任务都重新计划。
然后jobTracker将任务分配给另一个datanode。
Q.什么是Datanode?
答:数据节点是存储实际数据的地方。名称节点发送的数据存储在数据节点中。
问:hdfs中的默认块大小是多少?
A.默认块大小是64 MB。
Q.什么是MapReduce?
答:MapReduce是Hadoop的核心。在Hadoop集群中处理跨越数百或数千个服务器的大型数据集是编程范式。这是一个使用我们可以编写应用程序并行处理大量数据的框架。
Q.在hadoop集群上运行多个守护进程?
A. Hadoop由五个独立的守护进程组成。 NameNode,Secondary Namenode和Jobtracker在主节点上运行,而DataNode和TaskTracker在从节点上运行。
问:什么是工作追踪器?
A.作业追踪器是一个在名称节点上运行的守护进程。它将任务分配给不同的任务跟踪器。名称节点将只有一个作业跟踪器,但是数据节点将有许多任务跟踪器。这是单点故障。如果作业追踪器停机,则所有正在运行的作业都将停止。它从任务跟踪器接收心跳,根据哪个Job跟踪器决定分配的任务是否完成。
问:什么是任务跟踪器?
A.任务跟踪器也是一个在datanode上运行的守护进程。任务跟踪器管理从属节点上各个任务的执行。当客户提交作业时,作业追踪器将初始化作业并将作业分成不同的任务追踪器以执行MapReduce任务。执行此操作时,任务跟踪器将通过发送心跳同时与作业跟踪器进行通信。如果作业跟踪器在指定的时间内没有收到任务跟踪器的心跳信号,则认为任务跟踪器已经崩溃,并将该任务分配给集群中的另一个任务跟踪器。
问:什么是HDFS的心跳?
A.心跳是某种信号表明它是活着的。 datanode发送心跳到Namenode,任务跟踪器将心跳发送到作业跟踪器。如果Namenode或工作追踪器没有收到心跳,那么他们将决定datanode或任务追踪器中有问题,他们无法执行分配的任务。
问:什么是HDFS块?
块是可以读取或写入的最小数据量。在HDFS中,默认块大小为64 MB。 HDFS中的文件被分解为块大小的块,它们被存储为独立的单元。
问:任务跟踪器和作业跟踪器是否位于不同的机器中?
答:是的,任务跟踪器和作业跟踪器存在于不同的机器上。作业跟踪器存在于名称节点中,而任务跟踪器存在于数据节点中。作业跟踪器是Hadoop MapReduce服务的单点故障。
问:什么是二级名称节点?
A.名称节点是一个主节点,所有的元数据都是周期性地存储在fsimage和editlog文件中的。但是,当名称节点向下的次节点将联机,但是这个节点只有对fsimage和editlog文件的读访问权限,并且不具有对它们的写访问权限。所有的辅助节点操作将被存储到临时文件夹。当名称节点返回到联机状态时,此临时文件夹将被复制到名称节点,namenode将更新fsimage和editlog文件。
问:给一些使用Hadoop的公司命名?
答:一些使用Hadoop的公司是Yahoo(Hadoop的最大用户和80%以上的代码贡献者之一),Facebook,Cloudera,Amazon,eBay,Twitter,IBM等。
问:区分结构化,非结构化和半结构化数据?
A.可以以行和列的形式存储在传统数据库系统中的数据可以称为结构化数据。只能部分存储在传统数据库系统中的数据,例如XML记录中的数据可以被称为半结构化数据。无法分类为半结构化或结构化数据的无组织和原始数据称为非结构化数据。文本文件,图像,视频,电子邮件,客户服务交互,网页,PDF文件等都是非结构化数据的例子。
问:Hadoop应用程序的主要组件是什么?
A. Hadoop应用程序的核心组件是 -
1. Hadoop通用
2. HDFS
3. Hadoop MapReduce
纱线
问:NameNode,Task Tracker和Job Tracker的端口号是多少?
1. NameNode-50070
2. Job Tracker-50030
3.任务跟踪器50060
问:当NameNode关闭时用户提交Hadoop作业会发生什么情况。工作是否进入或失败?
A.当NameNode关闭时,Hadoop作业失败。
问:Hadoop可以处理流数据吗?
答:是的,通过像Apache Kafka,Apache Flume和Apache Spark这样的技术,可以进行大规模的流式传输。
问:运行Hadoop需要什么平台和Java版本?
A. Java 1.6.x或更高版本适用于Hadoop。 Linux和Windows是Hadoop支持的操作系统。
问:什么样的硬件最适合Hadoop?
答:执行Hadoop作业的最佳配置是使用ECC内存的双核处理器或具有4GB或8GB RAM的双处理器。
问:在Hadoop中定义的最常见的输入格式是什么?
1.键值输入格式
2.文本输入格式
3.序列文件输入格式
问:数据节点失败时会发生什么?
答:如果数据节点失败,作业跟踪器和名称节点将检测到失败。之后,所有任务都在失败节点上重新计划,名称节点将把用户数据复制到另一个节点。
问:是否有必要了解Java来学习Hadoop?
答:如果你有Java,C,C ++,PHP等编程语言的背景,这可能是非常有帮助的,但是如果你在Java中没有,那么学习Java是必要的,同时也需要掌握SQL的基础知识。
问:Hadoop使用哪些数据存储组件?
答:Hadoop使用HBase数据存储组件。
585



被折叠的 条评论
为什么被折叠?



