Python爬虫数据存储(TXT文本存储)爬取豆瓣音乐排行榜

本文介绍了一种使用Python爬虫抓取豆瓣音乐排行榜数据并存储为TXT文本的方法,详细展示了如何利用requests和pyquery库进行网页请求和解析,以及如何将解析后的数据逐条写入文本文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据存储(TXT)

在爬虫中,用解析器解析出数据后,接下来就是存储数据。
1 文件存储
1.1 TXT文本存储

TXT文本几乎可以兼容任何平台,但有个缺点就是不利于检索。
我是爬取下面这个页面中的内容来做练习:
一共有20首歌曲。截图就截了上面一部分。
在这里插入图片描述

import requests
from pyquery import PyQuery

url = 'https://music.douban.com/chart'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}

req = requests.get(url, headers=headers)
response = req.text
# print(response)
doc = PyQuery(response)
items = doc('.col5 li').items()
# print(items)
# 创建一个空列表,用来存储数据
data_list = []
for li in items:
	# 获取每个li节点里的所有文本然后添加进列表中
    data = li.text()
    data_list.append(data)
    # print(data)
# print(data_list)

with open('豆瓣音乐排行榜.txt', 'w', encoding='utf-8') as f:
    for dl in data_list:
    	# 遍历列表,将遍历的内容都存储进txt文本中
        #print(dl)
        f.write(dl)
        f.write('\n' + '=' * 50 + '\n')

在这里插入图片描述截图是一部分。
一开始存储后的文件老是只有最后一首歌曲的文本内容,搞了半天一直这样,最后发现是遍历列表的for循环没有放在with as中,后面试了一下才成功。
希望自己能掌握好这些基础的东西。要加油啊。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天意不可违.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值