
spark streaming
小努蛋
我是一个很很很很菜的鸟
展开
-
spark streaming+mongodb(geo)
项目主要做实时,从kafka拉数据进行清洗保存到mongodb(注意:mongodb的save方法是根据_id替换整个事件) 环境(maven管理): dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.6version> depen原创 2016-09-21 14:29:11 · 3060 阅读 · 0 评论 -
spark streaming + hbase
实时项目,从kafka拉取数据,存到hbase中 环境(maven): dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.4version> dependency> dependency> groupId>org.apach原创 2016-09-21 14:50:18 · 2050 阅读 · 0 评论 -
spark streaming + redis(geo)
项目支持实时,主要实时把数据存到redis中,并可以进行geo查询 环境(maven管理): dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.6version> dependency> dependency> groupI原创 2016-09-21 14:42:46 · 986 阅读 · 0 评论