Full Stack

上一篇文章介绍了，通过rss抓取新闻正文。这里介绍同时抓取多个RSS站点的正文，以及抓取正文中的图片。 我的RSS不是抓取 站点 中的内容，而是需要的正文，广告评论等都排除在外。

RSS抓取新闻正文。 公司研发部不能上外网，但是公司又希望研发的同事能关注下新闻，了解科技热点，跟上时代潮流。所以搭建了一个discuz论坛， 但内容匮乏。幸运的是搭这台论坛的服务器可以上网的(在两个网络里面)。所以想着要我做一个爬虫工具，通过rss把新闻内容，抓取过来放到公司论坛。   现在已经实现了，同时抓取多个网站上面的数据(IT之家，虎嗅网等等)。

本文讲诉多个站点的同时抓取rss的新闻正文，然后导入到discuz 论坛的设计与实现

提供RSS服务的站点超级多，百度、网易、新浪、虎嗅网 等等站点，基于java c++ php的rss抓取网上很多，今天说说NodeJs抓取RSS信息， 使用NodeJs做网络爬虫，抓取RSS新闻。各站点编码格式不一样 GBK,UTF-8,ISO8859-1等等，所以需要进行编码，对国人来说UTF-8是最酷的。抓取多站点，然后保存到数据库，充分利用javascript异步编程的特点，抓取速度超级快呀。

最新做一个新闻项目，项目流程很简单，使用nodejs去网络上面抓取新闻，存到mongodb数据库，然后对客户端提供http服务。客户端的实现网上有很多源码，上一篇文字介绍了，怎么从rss地址抓取新闻的url地址和链接等等，未抓取新闻正文和新闻的概要图片。对于一个新闻客户端来说，没有图片是致命的打击，图文并茂才能吸引用户 。 本文来解决抓取正文和图片的问题。 上一篇文章

项目详细介绍请参考博客 ：http://blog.youkuaiyun.com/kissliux/article/details/19560603 项目源码开源在github：https://github.com/kissliux/rssSpider   项目旨在提供免费的新闻列表和新闻正文服务，目前没有找到合适的服务器。 哪位大神有服务器可以放一个node.js应用程序的 请联系我，跪谢