大数据工程师面试题(6)

最新推荐文章于 2025-06-09 20:20:44 发布
最新推荐文章于 2025-06-09 20:20:44 发布
阅读量911 收藏 3
点赞数
分类专栏： 技术-大数据 文章标签： 面试题 大数据
3.14
1、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。
hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。
1）、  采用压缩流
[java]  view plain  copy
  1. //压缩文件  
  2. public static void compress(String codecClassName) throws Exception{  
  3.     Class<?> codecClass = Class.forName(codecClassName);  
  4.     Configuration conf = new Configuration();  
  5.     FileSystem fs = FileSystem.get(conf);  
  6.     CompressionCodec codec = (CompressionCodec)ReflectionUtils.newInstance(codecClass, conf);  
  7.     //指定压缩文件路径  
  8.     FSDataOutputStream outputStream = fs.create(new Path("/user/hadoop/text.gz"));  
  9.     //指定要被压缩的文件路径  
  10.     FSDataInputStream in = fs.open(new Path("/user/hadoop/aa.txt"));  
  11.     //创建压缩输出流  
  12.     CompressionOutputStream out = codec.createOutputStream(outputStream);   
  13.     IOUtils.copyBytes(in, out, conf);  
  14.     IOUtils.closeStream(in);  
  15.     IOUtils.closeStream(out);  
  16. }  

2）、  采用序列化文件

[java]  view plain  copy
  1. public void testSeqWrite() throws Exception {  
  2.     Configuration conf = new Configuration();// 创建配置信息  
  3.     conf.set("fs.default.name", "hdfs://master:9000");// hdfs默认路径  
  4.     conf.set("hadoop.job.ugi", "hadoop,hadoop");// 用户和组信息  
  5.     String uriin = "hdfs://master:9000/ceshi2/";// 文件路径  
  6.     FileSystem fs = FileSystem.get(URI.create(uriin), conf);// 创建filesystem  
  7.     Path path = new Path("hdfs://master:9000/ceshi3/test.seq");// 文件名  
  8.     IntWritable k = new IntWritable();// key，相当于int  
  9.     Text v = new Text();// value，相当于String  
  10.     SequenceFile.Writer w = SequenceFile.createWriter(fs, conf, path,k.getClass(), v.getClass());// 创建writer  
  11.     for (int i = 1; i < 100; i++) {// 循环添加  
  12.         k.set(i);  
  13.         v.set("abcd");  
  14.         w.append(k, v);  
  15.     }  
  16.     w.close();  
  17.     IOUtils.closeStream(w);// 关闭的时候flush  
  18.     fs.close();  
  19. }  

hbase为列存数据库，本身存在压缩机制，所以无需设计。

3、简述Hbase性能优化的思路

1）、  在库表设计的时候，尽量考虑rowkey和columnfamily的特性
2）、  进行hbase集群的调优：见hbase调优

4、简述Hbase filter的实现原理是什么？结合实际项目经验，写出几个使用filter的场景。

hbase的filter是通过scan设置的，所以是基于scan的查询结果进行过滤。
1）、在进行订单开发的时候，我们使用rowkeyfilter过滤出某个用户的所有订单
2）、在进行云笔记开发时，我们使用rowkey过滤器进行redis数据的恢复。

5、ROWKEY的后缀匹配怎么实现？例如ROWKEY是yyyyMMDD-UserID形式，如果要以UserID为条件查询数据，怎样实现。
使用rowkey过滤器实现
6、简述Hive中的虚拟列作用是什么，使用它的注意事项。
Hive提供了三个虚拟列：
INPUT__FILE__NAME
BLOCK__OFFSET__INSIDE__FILE
ROW__OFFSET__INSIDE__BLOCK
但ROW__OFFSET__INSIDE__BLOCK默认是不可用的，需要设置hive.exec.rowoffset为true才可以。可以用来排查有问题的输入数据。
INPUT__FILE__NAME, mapper任务的输出文件名。
BLOCK__OFFSET__INSIDE__FILE, 当前全局文件的偏移量。对于块压缩文件，就是当前块的文件偏移量，即当前块的第一个字节在文件中的偏移量。
hive> SELECT INPUT__FILE__NAME, BLOCK__OFFSET__INSIDE__FILE, line
> FROM hive_text WHERE line LIKE '%hive%' LIMIT 2;
har://file/user/hive/warehouse/hive_text/folder=docs/
data.har/user/hive/warehouse/hive_text/folder=docs/README.txt  2243
har://file/user/hive/warehouse/hive_text/folder=docs/
data.har/user/hive/warehouse/hive_text/folder=docs/README.txt  3646
7、如果要存储海量的小文件（大小都是几百K~几M），请简述自己的设计方案。
1）、将小文件打成har文件存储
2）、将小文件序列化到hdfs中
8、有两个文本文件，文件中的数据按行存放，请编写MapReduce程序，找到两个文件中彼此不相同的行。
写个mapreduce链  用依赖关系，一共三个mapreduce，第一个处理第一个文件，第二个处理第二个文件，第三个处理前两个的输出结果，
第一个mapreduce将文件去重，第二个mapreduce也将文件去重，第三个做wordcount，wordcount为1的结果就是不同的。

4.   共同朋友

mapred找共同朋友，数据格式如下
usr:friend,friend,friend...
---------------
A:B,C,D,E,F
B:A,C,D,E
C:A,B,E
D:A,B,E
E:A,B,C,D
F:A
第一个字母表示本人，其他是他的朋友，找出共同朋友的人，和共同朋友是谁。
思路：例如A，他的朋友是B\C\D\E\F\，那么BC的共同朋友就是A。所以将BC作为key，将A作为value，在map端输出即可！其他的朋友循环处理。
[java]  view plain  copy
  1. import java.io.IOException;  
  2. import java.util.Set;  
  3. import java.util.StringTokenizer;  
  4. import java.util.TreeSet;  
  5. import org.apache.hadoop.conf.Configuration;  
  6. import org.apache.hadoop.fs.Path;  
  7. import org.apache.hadoop.io.Text;  
  8. import org.apache.hadoop.mapreduce.Job;  
  9. import org.apache.hadoop.mapreduce.Mapper;  
  10. import org.apache.hadoop.mapreduce.Reducer;  
  11. import org.apache.hadoop.mapreduce.Mapper.Context;  
  12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  13. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  14. import org.apache.hadoop.util.GenericOptionsParser;  
  15.    
  16. public class FindFriend {     
  17.    
  18.     public static class ChangeMapper extends Mapper<Object, Text, Text,Text>{                        
  19.         @Override  
  20.         public void map(Object key, Text value, Context context) throws IOException, InterruptedException {  
  21.             StringTokenizer itr = new StringTokenizer(value.toString());  
  22.             Text owner = new Text();  
  23.             Set<String> set = new TreeSet<String>();  
  24.             owner.set(itr.nextToken());  
  25.             while (itr.hasMoreTokens()) {  
  26.                 set.add(itr.nextToken());  
  27.             }               
  28.             String[] friends = new String[set.size()];  
  29.             friends = set.toArray(friends);   
  30.             for(int i=0;i<friends.length;i++){  
  31.                 for(int j=i+1;j<friends.length;j++){  
  32.                     String outputkey = friends[i]+friends[j];          
  33.                     context.write(new Text(outputkey),owner);  
  34.                 }                                       
  35.             }  
  36.         }  
  37.     }              
  38.    
  39.     public static class FindReducer extends Reducer<Text,Text,Text,Text>{                            
  40.         public void reduce(Text key, Iterable<Text> values, Context context) throws IOException,InterruptedException {  
  41.             String  commonfriends ="";   
  42.             for (Text val : values) {  
  43.                 if(commonfriends == ""){  
  44.                     commonfriends = val.toString();  
  45.                 }else{  
  46.                     commonfriends = commonfriends+":"+val.toString();  
  47.                 }  
  48.             }  
  49.             context.write(key, new Text(commonfriends));   
  50.         }                             
  51.     }  
  52.    
  53.     public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException{               
  54.         Configuration conf = new Configuration();  
  55.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
  56.         if (otherArgs.length < 2) {  
  57.             System.err.println("args error");  
  58.             System.exit(2);  
  59.         }  
  60.         Job job = new Job(conf, "word count");  
  61.         job.setJarByClass(FindFriend.class);  
  62.         job.setMapperClass(ChangeMapper.class);  
  63.         job.setCombinerClass(FindReducer.class);  
  64.         job.setReducerClass(FindReducer.class);  
  65.         job.setOutputKeyClass(Text.class);  
  66.         job.setOutputValueClass(Text.class);  
  67.         for (int i = 0; i < otherArgs.length - 1; ++i) {  
  68.             FileInputFormat.addInputPath(job, new Path(otherArgs[i]));  
  69.         }  
  70.         FileOutputFormat.setOutputPath(job,new Path(otherArgs[otherArgs.length - 1]));  
  71.         System.exit(job.waitForCompletion(true) ? 0 : 1);                  
  72.     }  
  73. }  

结果：

1. AB      E:C:D

2. AC      E:B

3. AD      B:E

4. AE      C:B:D

5. BC      A:E

6. BD      A:E

7. BE      C:D:A

8. BF      A

9. CD      E:A:B

10. CE      A:B

11. CF      A

12. DE      B:A

13. DF      A

14. EF      A

5.   基站逗留时间

需求：

期望：

思路：

将数据导入hive表中，查询时，用电话号码和时间排序即可！

6.   脚本替换


脚本：随意命名为 aaa.sh

#!/bin/bash

ls $1 | while read line

do

sed -i 's,\$HADOOP_HOME\$,\/home\/aa,g' $1$line

echo $1$line

done

脚本执行命令：替换/home/hadoop/test/下的所有文件
./aaa.sh /home/hadoop/test/

7.   一键执行




脚本：

vi runRemoteCmd.sh

#!/bin/bash

$1

ssh -q hadoop@slave1 "$1"

ssh -q hadoop@slave2 "$1"

执行命令

./runRemoteCmd.sh "ls -l"


8.   大数据面试汇总

1.讲解一下MapReduce 的一些基本流程
任务提交流程，任务运行流程
2.你们数据库怎么导入hive 的,有没有出现问题
使用sqoop导入，我们公司的数据库中设计了text字段，导致导入的时候出现了缓存不够的情况（见云笔记），开始解决起来感觉很棘手，后来查看了sqoop的文档，加上了limit属性，解决了。
3.公司技术选型可能利用storm 进行实时计算,讲解一下storm
从storm的应用，代码书写，运行机制讲
4.问你java 集合类的数据结构,比如hashmap
看java面试宝典
5.问你知不知道concurrent 包下的东西,例如concurrenthashmap
看java面试宝典
6.公司最近主要在自然语言学习去开发,有没有接触过
没有用过
大数据面试题以及答案整理（二）
godblesspl的博客
03-01 6122
Redis性能优化，单机增加CPU核数是否会提高性能1、根据业务需要选择合适的数据类型，并为不同的应用场景设置相应的紧凑存储参数。2、当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能以及最大的内存使用量。3、如果需要使用持久化，根据是否可以容忍重启丢失部分数据在快照方式与语句追加方式之间选择其一，不要使用虚拟内存以及diskstore方式。4、不要让你的Redis所在机器物理内...
大数据数仓工程师面试题精选-真实场景题
beiluo的博客
12-24 2363
大数据数仓工程师面试题精选-真实场景题，整理从项目、技术栈、数仓建模、数据质量、数据治理、优化等多维角度企业真题，帮助各位同学成功上岸！
大数据工程师面试题(六)
NLP学习者，通用人工智能实践者
02-26 4075
3.14 1、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。 hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。 1）、  采用压缩流 //压缩文件 public static void compress(String codecClassName) throw
大数据高频面试题汇总
最新发布
zh_19995的博客
06-09 921
本文主要涵盖网上所有主流平台出现过的针对大数据相关的高频面试题，全网独一份
大数据工程师面试题(二)
NLP学习者，通用人工智能实践者
02-19 5221
2.7.  用mapreduce来实现下面需求？ 现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。 方法一： 运用2个job，第一个job直接用filesystem读取10个文件夹作为map输入，url做key，reduce计算url的sum， 下一个job map用url作key，运用sum作二次排序，reduce中取top1000000
大数据工程师面试题(三)
NLP学习者，通用人工智能实践者
02-19 7793
2.13. 简述hadoop的调度器 FIFO schedular：默认，先进先出的原则 Capacity schedular：计算能力调度器，选择占用最小、优先级高的先执行，依此类推 Fair schedular：公平调度，所有的job具有相同的资源。 2.14. 列出你开发mapreduce的语言 java 2.15. 书写程序 wordcount mapper： Strin
大数据工程师面试题
qq_30062385的博客
03-22 9162
1. 选择题1.1. 下面哪个程序负责 HDFS 数据存储。a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker答案 C datanode1.2. HDfS 中的 block 默认保存几份？a)3 份 b)2 份 c)1 份 d)不确定答案 A 默认 3 份1.3. 下列哪个程序通常与NameNode在一个节点...
大数据运维面试题整理.pdf
12-24
总结，HDFS通过其独特的架构和机制，成功解决了大数据存储和管理的挑战，提供了高可用性和可扩展性，是大数据运维面试中不可或缺的知识点。理解并掌握这些概念对于任何涉及Hadoop和大数据运维的职位都至关重要。
物联网方向大数据工程师面试题及答案.txt
07-18
常见面试问题及答案
大数据工程师面试题(附答案)
热门推荐
weixin_42142987的博客
05-02 1万+
MapReduce 1. 不指定语言，写一个WordCount的MapReduce 我：最近刚学了scala，并且就有scala版本的WordCount，刚好学以致用了一下： 对大数据【数据分析，数据挖掘】概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且...
高级大数据工程师面试题库
12-09
里面涵盖多种大数据面试题。供进行大数据面试的同学和进行相关学习的同学参考。
数据库工程师常见面试题.pdf
04-18
数据库工程师常见面试题.pdf 数据库工程师常见面试题.pdf
大数据开发工程师面试题
一位不是很硕的鉴伪方向硕士
09-23 1059
map/reduce程序执行时，reduce节点大部分执行完毕，但是又一个或几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时时百倍或千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完，称为数据倾斜。用hadoop程序进行数据关联时，常碰到数据倾斜的情况，这里提供一种解决方法：自己实现partition类，用key和value相加取hash值。21、Hbase的rowkey怎么创建好？
大数据开发工程师面试问题总结
lrn521zsd的博客
08-31 4639
大数据开发工程师面试问题总结
大数据工程师面试考题
Joy_love_data的博客
12-19 1818
1、shell 的AWK命令调用方法 2、shell的sed命令调用方法 3、git指令的vebase/tree/charrity 4、CP/DCP区别 5、try catch exception捕捉错误，else作用是什么？ 6、Python list如何增加item. 7、编写如下python 对二维list进行升序排列的函数。 Question: Sort,given2 darray in order of ascending.Flatten the 2Darray, and sort it such
数据库工程师面试题
super_qing_的博客
08-12 8084
问题 1： 为什么 group by 和 order by 会使查询变慢? 答： group by 和 order by 操作通常需要创建一个临时表来处理查询的结果，所以如果查询结果很多的话会严重影响性能。 问题 2： delete、 truncate 和 drop 的区别? 答： Delete 命令用来删除表的全部或者一部分数据行，执行 delete 之后，用户需要提交(commmit)或者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值