人丑就要多读书的博客

今天收到一个需求，需要爬取chinadaily网站上查询关键字是HK 和Hong Kong的所有新闻数据用于做NLP。需求字段包括新闻标题，发布时间，新闻内容chinadaily官网。刚开始感觉很简单，不就是个ajax请求json格式吗，但是实际操作时候没那么简单，因为一页返回的十条数据不全都是新闻，而且新闻详情页里面，有的没有发布时间，有的没有标题，有的没有内容，所以不能靠 jsonpath提取，因为你不确定究竟是哪条新闻没有对应的字段，导致数据列表对不上号。所以换一种思路，提取每个新闻详情的url,

1. 常见的app抓包软件对比2.常见的android开发模拟器对比3 基于fiddler的app 数据抓取fillder设置