怎么判断Spark程序在Driver端运行还是Executor端运行

前言

实习生：怎么知道我的spark代码中哪些是在driver端运行，哪些是在executor端运行？

我： 算子中的部分就在executor，其它的在driver

实习生：…呃…你能证明你说的是对的吗？

直观的感受代码运行在driver端还是executor端

可以通过以下方式来判断代码运行在driver端还是executor端：

1. 使用sc.getConf().get(“spark.executor.instance”)获取executor实例ID，如果返回值非空，则说明代码运行在executor端；
2. 在代码中输出当前线程的信息，如Thread.currentThread().getName()，如果输出中包含"driver"关键字，则说明代码运行在driver端；
3. 在代码中使用sparkContext对象的isLocal属性，如果返回值为false，