本文介绍了一种基于Python、Logstash、Kafka、Storm、HBase、Zookeeper和SpringBoot的实时数据处理架构。该架构适用于实时推荐和实时展示场景，通过Python分析热数据并格式化输入Kafka，Storm进行实时数据处理，最终将结果存储于HBase或MySQL供UI实时抽取显示。
hbase（一） 伪集群搭建
自从AI的概念火起来之后，不玩玩实时 ，而只知道离线处理数据，似乎已经不满足现在对数据分析的要求了，深感逗比的同时，哥们还是浅浅介绍一下实时需要掌握的技巧和核心点，架构图请自己画切。
技术支持：
python + logstash + kafka + storm + hbase ( mysql )+ zookeeper + springboot + js + css + 高德map插件
核心要点：
python 分析热数据到 logstash 格式化灌入 kafka ，storm 实时分析数据 落地 hbase 或 mysql， ui实时抽取实时数据表现到高德地图中即可
心得： 面对实时性较强 （比如实时推荐、实时展现），而非离线操作的业务，甚至可以干掉hbase以直接面向结果的方式进行 ， 但是storm 处理完的结果 必须先落地到某个地方，再交给机器学习 ，如果不想落地咋办？ 此时可以采用 spark streaming & ml lib s[图片]park sql 结合的方式进行 流水式推荐 ，待下回分解。
想对AI有所建树，不学python，只是粗略掌握一套别人提供的架构，粗浅的开发开发就想装个逼，哥们介意还是别在这上边浪费时间了，
基于一通百通的原则，学数据架构会那么一套两套就差不多了，最重要的还是语言基础和算法分析。
欢迎互粉交流 春叁十娘
扫一扫
1115
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
