定向网站抓取

一，目标

简单来说，就是把对方的网站当中的数据复制到我们自己的数据库当中

二，会遇到的问题

1，需要登录

2，spider有被anti掉的风险

3，结构化数据的解析和提取

三，解决方案

3，可以对抓取下来的html数据进行按html的结构进行解析，有一些开源的工具

http://hi.baidu.com/jfojfo/item/734283397d682e21b3c0c54d，这篇文章对htmlParser和SGMLParser两个parser分析的很好，

然后讲下我在使用这两个的过程当中遇到的问题