yiyizhl的博客

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 i 欢迎使用...

为了完成数据实时ETL功能，使用kafka进行接收，spark进行实时计算，再通过kafka输出。在0基础入门的过程中，顺带解决了几个版本相关的问题：1）低版本spark和kafka使用structure streaming的问题；2）低版本spark无法向kafka写入数据的问题。因此，系列文章将分位如下几个部分。首先，是整理了kafka和spark的0基础入门相关问题。然后，梳理了工作过程中遇到的kafka，spark和hadoop以及其相关api不同版本之间的关系。最后，介绍了解决问题的方法。