
spark
Beeman_xia
他人笑我太癫狂,我笑他人看不穿。
展开
-
spark原理概念
spark有哪些组件:master:管理集群和节点,不参与计算worker:计算节点,进程本身不参与计算,向master心跳(不包含节点资源)Driver:运行程序的main方法,创建spark context对象spark context:控制整个application的生命周期,包括DAGSchedule和 TaskSchedule等client:用户提交程序的入口spark的优...原创 2019-03-01 18:18:38 · 370 阅读 · 0 评论 -
spark Streaming从kafka消费数据遇到的问题,求解
问题:INFO JobScheduler: Added jobs for time消费kafka数据的过程中,有时候会一直出现 INFO JobScheduler: Added jobs for time ,百度说的是设置的单线程,但是在程序里面设置的是local[*],偶然跑了下,发现会有Added jobs for time和数据一起出现的情况,求解~~...原创 2019-03-13 16:36:50 · 1747 阅读 · 1 评论