携程问答,马蜂窝,百度知道基于每周四爬取数据量分析
由于业务需求,10月份上线了新的爬虫业务需求,爬取链接如下:
https://zhidao.baidu.com/
http://www.mafengwo.cn/wenda/
https://you.ctrip.com/asks/
输入相关业务相关热词,抓取对应的问题和答案,问题和答案的内容分析,因涉及公司业务不便分享,现就数据量的分析。
百度知道数据需求:若该热词搜素的结果大于5页,则爬取前5...
原创
2019-11-01 17:59:08 ·
252 阅读 ·
0 评论