小白分析4:豆瓣音乐TOP250抓取并存入excel

本文介绍如何使用XPath抓取豆瓣音乐Top250列表,并将其数据保存到Excel文件中。分享了Python爬虫过程中的一些实用技巧,如利用{}.format和normalize-space处理数据。针对新手,强调了实践的重要性以及理解网页结构的必要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hello,大家好..猜猜我这次盯上了什么~~~~~~~~~~~~没错,又是可怜的豆瓣。,这次我们抓取豆瓣音乐的top250。

其实,最近我也有在试着爬取别的网站,比如说安居客、优美网之类的,但是这些网站的网页经常会重写,抓取的规律会变;然后抓取一些大家都懂的网页时,由于他们的服务器都架设在国外,经常打不开或者链接速度过慢。而且,最重要的是,经常会有一些反爬虫的手段,比如说访问频繁封禁ip啊,页面不规律啊...对新手很不友好。

所以,这次就介绍一下用xpath的方式来抓取网站的字符,以后再写一些有难度的。


如果不懂xpath规律的可以先看一下下面的文档:

http://www.w3school.com.cn/xpath/xpath_syntax.asp

https://www.cnblogs.com/yinjiangchong/p/9440014.html


贴一下各种方法的一些小心得

1:无论是select还是find_all,返回的都是列表,select返回的列表中的元素为Tag,需要用get_text()得到字符部分,而find_all用下标即可 ;

2:re正则表达式是最万金油的方法,但是理解和应用起来需要多试;

3:xpath是比较老的一种方式,但是很好用...

4:抓取文本是获得html的text文档,而抓取文件和图片是conent模式;

5:一定要多print,来查看返回的数据是否是自己想要的,再进行调整;

6:其实队伍我这样的新手来讲,只对着别人的代码理解往往事倍功半,一定要自己动手来写,才

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值