suphieLiang的博客

呕心沥血，基本上经历了所有Bug才跑通，写了一篇文字最多的文档，愿大家少走弯路 首先配置spark的interpreter，其实并没有更改配置，其中master的配置纠结了好久因为跟网上所提供的配置方式并不一致，尝试了各种失败以及空指针后终于在网上找到一个不错的解释： mesos模式中使用mesos://zk://zk1:2181,zk2:2182,zk3:2181/mesos或mesos://

    首先概述一下，我的代码主要就是将kafka中消费的数据转到sparkStreaming中，并进行一系列的操作。这个代码在网上有很多相同的，在此不做太多论述。代码大概是这样的：第一个问题：权限问题，我的kafka集群是需要sasl安全认证登录，而在我的代码中并没有可以让我配置消费者的地方，因为是初学者总是哪里都想试试。首先尝试了通过JavaStreamContext设置KafkaConsum...