sendoh的博客

文章目录Python 语法笔记 Python 语法笔记 python 中的Set集合 创建集合： lookup = set() 往集合中的添加数据 set.add() 移除集合中的数据 set.remove(数据名) 例：set.remove(‘s’)

文章目录scrapy +selenium 爬取ajax动态加载页面1. 页面样式2. 问题3. 解决方法4. scrapy+selenium解决方案微博的评论内容页面解析 scrapy +selenium 爬取ajax动态加载页面 1. 页面样式 有些页面是硬编码在js代码中的。（如豆瓣） 有些页面是使用ajax动态渲染的页面。 2. 问题 动态渲染的页面，在使用scrapy抓取时不能获得与浏览器一模一样的浏览器页面 使用xpath的路径进行解析，并不能获取到相应的元素。 3. 解决方法 调用的a