大数据面试真题_A

博奥特

招全栈，需要会java，大数据两个技术面试官

1. 最近一次项目
2. 工作职责（我老是以用户日活举例，让我用别的举例）
3. flume有遇到什么问题吗（他说会数据丢失）
4. kafka有遇到什么问题吗
5. kafka 偏移量保存
   （我说kafka会自己建立一个__consume_offset的topic保存偏移量，他说让我去看清楚
   我就说0.9之前保存在zookeeper，0.9后保存在自己建的一个topic中，不知道是不是诈我）
6. kafka副本同步机制，leader的副本怎么同步
7. kafka leader选举
8. 实时数仓搭建中你做了什么
9. 集群规模有多大，多少核多少内存
10. 采集，离线和实时都在同一个集群跑吗
11. flink几个任务，集群能扛得住吗
12. 跑flink任务用的什么模式
13. 提交参数设置了哪些，为什么这样设置
14. 测试和生产是在同一个集群中吗
15. 数据量有多大
16. 数据量这么少为什么做大数据平台
17. kafka怎么确保一致性的
18. 为什么使用flink而不是spark streaming
19. flink保证数据一致性
20. 说说flink你做的哪些
21. 数据哪来的（我说日志数据使用flume导入到kafka，业务使用maxwell同步）
22. maxwell使用过程有什么问题吗
23. 为什么不适用flinck cdc
24. 处理过表的join吗
25. hive有进行分区分桶吗
26. 说说分区和分桶
27. 有遇到过数据倾斜吗，产生的原因，怎么解决
28. 数据量这么小，（我说我们是按照日期进行分区的）考虑过 小文件的问题吗
29. 日期的话怎么获取表的新增数据（变化数据）
30. 那不会产生时间漂移吗（我说我们的时间是在用户触发时，前端传递给后端的）
31. 窗口函数了解吗
32. 有使用自定义函数吗，需要实现哪个类，重写哪些方法
33. 如何获取json字符串数据
34. 有进行过优化吗，
35. 熟悉java吗
36. set去重原理
37. 线程和多线程了解吗
38. 进程和线程的生命周期有哪些
39. 了解jvm吗
40. 说说jvm中的组成及作用
41. 考虑做全栈开发吗

---