解决kafka自带的connect-file-source和connect-standalone处理JSON数据源后出现的格式改变问题！！

最新推荐文章于 2024-03-19 16:41:36 发布

原创

最新推荐文章于 2024-03-19 16:41:36 发布 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #kafka

本文描述了在使用Kafka的connect-file-source从JSON数据源获取数据时遇到的格式变化问题，以及如何通过调整配置和处理数据解决这个问题。通过设置`key.converter.schemas.enable`和`value.converter.schemas.enable`为false，以及使用`replace()`方法去除额外的字符，最终成功将数据转换回正常JSON格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

所用到的软件版本

spark2.3.0

idea2019.1

kafka_2.11-0.10.2.2

spark-streaming-kafka-0-10_2.11-2.3.0

设想是在win7系统下爬虫得到JSON数据存储到win7文件夹，利用共享文件，Centos7 mount共享文件，得到JSON数据，然后利用kafka自带的connect-file-source监听该文件：

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties

利用如下代码查看经过kafka产生的数据：

./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic streaming_kafka --from-beginning

其数据格式如下：

{"schema":{"type":"string","optional":false},"payload":"{\"like_count\": 832, \"view_count\": 37210, \"user_name\": \" ֪ʶ \", \"play_url\": \"http://jsmov2.a.yximgs.com/upic/2019/04/12/19/A0MNc3NjIxXzJfMw==_b_B12594561fec10c99ab12c417bfbc8b7d.mp4?tag=1-1555243582-h-0-mznoh8fetl-6e60d4850f55979f\", \"description\": \" ٻ С֪ʶ \\n# л Ҫ \", \"cover\": \"http://ali2.a.yximgs.com/uhead/AB/2019/02/18/01/BjYxXzJfaGQ1NTZfNzg3_s.jpg\", \"