一、简介:采用python+java,python端采集消息写入kafka,java端接收,群信息写入mysql,群消息写入Mongo。
环境搭建:python3、jdk1.8、mysql5.7、mongo、redis、kafka2.12-2.2.0。
注:mysql版本号说明:群信息中可能会存在表情和特殊字符,utf-8存不了(存储时会报错Incorrect string value: '\xF0\x9F\x91\x8D05...' for column 'nick_name'),需要使用utf8mb4_unicode_ci编码,mysql从5.3之后才支持utf8mb4_unicode_ci。我本地mysql5.1的端口是3306,mysql5.7的端口是3307。进入mysql官网下载5.7版本的zip安装包:https://dev.mysql.com/downloads/mysql/5.7.html#downloads
参照https://www.cnblogs.com/argenbarbie/p/6256027.html与https://blog.youkuaiyun.com/l405383190/article/details/78685745安装mysql5.7。
二、代码实现,参考
见下一篇博客。