Hello,大家好..猜猜我这次盯上了什么~~~~~~~~~~~~没错,又是可怜的豆瓣。,这次我们抓取豆瓣音乐的top250。
其实,最近我也有在试着爬取别的网站,比如说安居客、优美网之类的,但是这些网站的网页经常会重写,抓取的规律会变;然后抓取一些大家都懂的网页时,由于他们的服务器都架设在国外,经常打不开或者链接速度过慢。而且,最重要的是,经常会有一些反爬虫的手段,比如说访问频繁封禁ip啊,页面不规律啊...对新手很不友好。
所以,这次就介绍一下用xpath的方式来抓取网站的字符,以后再写一些有难度的。
如果不懂xpath规律的可以先看一下下面的文档:
http://www.w3school.com.cn/xpath/xpath_syntax.asp
https://www.cnblogs.com/yinjiangchong/p/9440014.html
贴一下各种方法的一些小心得:
1:无论是select还是find_all,返回的都是列表,select返回的列表中的元素为Tag,需要用get_text()得到字符部分,而find_all用下标即可 ;
2:re正则表达式是最万金油的方法,但是理解和应用起来需要多试;
3:xpath是比较老的一种方式,但是很好用...
4:抓取文本是获得html的text文档,而抓取文件和图片是conent模式;
5:一定要多print,来查看返回的数据是否是自己想要的,再进行调整;
6:其实队伍我这样的新手来讲,只对着别人的代码理解往往事倍功半,一定要自己动手来写,才