LongJ_Sir的博客

今天来看一下一些爬虫过程的小技巧或者说是一些注意或者是坑的地方，因为博主也是刚入门，所以也是把一些学到的对象进行分享，那么第一个坑：在浏览网页的时候我们经常会看到这样的东西：也就是所谓的多标签，我们再来看看它对应的HTML结构，打开F12（如果你按了F12什么也没发生，可以去看看博主第一篇文章）可以发现，这些信息都是嵌套于某一HTML下的，图中信息是位于 <div class = "infocardMark clearfix"></div>标签中，那么我们怎么去获取这

这一篇我们来学习如何对多页的网络进行信息爬取。在平时网页浏览时不少看见许多网页是有多页的，像这样：竟然，上一篇我们学会了单页网络信息的爬取，那么对于多页网络........这当然也不是问题（罒ω罒）。首先第一步还是得学会分析，怎么分析，首先我们需要分析网页换页发生了说明改变，这里主要从URL和请求信息两个方面进行研究，我们仍以上一篇文章中的网站作为示例：当我们不断换页时，我们会发现什么呢？没错，“看破真相的是一个外表看似小孩，智慧却过于常人的.........”:可以发现“？”后面的

本文将记录博主学习爬虫的分享，爬虫学习需要python3.+ 、BeautifulSoup、lxml、requests在python环境下可以通过以下命令进行相关环境的安装：pip install BeautifulSoup4pip install lxmlpip install requests安装完成就可以开始学习之路，本文以https://cn.tripadvisor.com/Attraction_Products-g60763-a_sort.-d1687489-The_Nation.