dianyou8752的博客

由于业务需求，10月份上线了新的爬虫业务需求，爬取链接如下： https://zhidao.baidu.com/ http://www.mafengwo.cn/wenda/ https://you.ctrip.com/asks/ 输入相关业务相关热词，抓取对应的问题和答案，问题和答案的内容分析，因涉及公司业务不便分享，现就数据量的分析。 百度知道数据需求：若该热词搜素的结果大于5页，则爬取前5...

分析携程旅游页面利用爬虫获取分类目录 爬取的数据再页面上的展示 爬虫得到的数据展示，得到的数据一起是817条数据 页面分析难点剖析 1.左边的主目录，F12得到xpath是没有难度的，右边目录可查看建立在鼠标在左边的目录上再移动到右边（截图进行分析，最笨拙的方式）； 2.当F12查看右边目录的元素时，鼠标离开右边的目录时，F12对应的Elements将消失（通过root向下查找元素...