设计思路:
1、在不同的节点上注册不同的服务,包括爬虫、热点计算、推荐等
参考方案:(阿里巴巴的Dubbo+Spring或者Thrift+Netty)+ Zookeeper管理
2、提供数据搜索接口
参考方案:(使用es分布式数据库)
设计目的:
1、提供上游应用数据计算结果
2、提供统一的服务注册接口,可以动态扩展服务
3、提供统一的服务管理接口,可以在统一监控服务和节点状态
参考文章:
1、Reddit: 每月 10 亿 PV 发展的失误和经验教训
2、暂无。。。
3、可以使用一些开源技术做各方面的事情:Node.js,Bootstrap,Angularjs,Mongodb,Python,Redis,RabbitMQ()