- 博客(7)
- 收藏
- 关注
RSS订阅原创 Python worker failed to connect back.
Python worker failed to connect back.
2022-11-23 09:27:45
1296
1
原创 The system cannot find the path specified
Pycharm报错： The system cannot find the path specified
2022-11-22 17:39:17
7760
原创 Spark面试
Spark的几种部署模式1. Local: 测试环境2. Standalone: spark自身的一个调度系统3. Yarn: Spark客户端直接连接yarn, 不需要额外构建spark集群, 有yarn-client和yarn-cluster两种模式. 主要区别在于driver程序的运行节点4. Mesos: 国内大环境比较少用Spark任务使用什么进行提交Shell脚本提交Spark提交作业参数executor-cores 每个executor使用的内核数, 默认为1,
2022-03-14 20:27:14
2261
原创 Kafka面试宝典
Kafka特性高吞吐 ,低延迟 可扩展性 持久性 ,可靠性 容错性 高并发Kafka使用场景异步处理 ,日常解耦 ,削峰 ,提速 ,广播例: 消息队列 ,网站活动 ,监控指标 ,日志集合 ,流处理 ,事件采集 ,日志提交kafka选择Pull模式还是Push模式produce将消息推送到replication副本(push),consumer从replication副本拉取消息(pull)说明: 一些消息系统比如Scribe和Apache Flume采用了push模式 ,将
2022-03-14 16:22:00
3261
原创 Hive面试总结
Hive简介hive是基于Hadoop的一个数据仓库工具 ,可以结构化映射成一张表 ,提供SQL查询功能Hive的三种底层引擎Hive引擎包括: 默认MapReduce ,Tez ,SparkMapReduce是一种编程模式 ,用于大规模数据集(大于1TB)的并行计算Tez是对mapreduce进行进一步的查分 ,还是基于mapreduce的Spark和Tez比较使用场景: spark号称比Mr快100倍 ,而Tez也号称比Mr快100倍 ,二者性能都远超Mr spark与Te
2021-08-25 13:47:16
396
8
原创 2021-06-05
学得会就学，学不会要是还感兴趣就继续学，学个东西问那么多带那么多目的性干嘛？还有，业精于勤，荒于嬉。行成于思，毁于随。要学就好好学，知行合一，代码多打，不然你只能说你懂得，而不是会 ...
2021-06-05 00:02:36
82
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人