爬虫学习笔记3——以text，json,csv格式的文件存储

最新推荐文章于 2025-04-18 16:26:07 发布

原创

最新推荐文章于 2025-04-18 16:26:07 发布 · 279 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #json #csv #java #javascript

这篇博客介绍了Python爬虫中三种常见的数据存储格式：TXT文本、JSON和CSV。对于TXT，讲解了open函数的不同模式。JSON部分强调了其作为数据交换格式的特性，以及处理中文字符串的方法。CSV部分则阐述了如何结构化地存储和读取数据，包括列表和字典两种方式的写入操作。

一.TXT文本存储

from pyquery import PyQuery as pq
import requests

url = 'https://www.zhihu.com/roundtable/lol2020'
headers = {
   
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)'
	+' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25'
	+' Safari/537.36 Core/1.70.3742.400 QQBrowser/10.5.3864.400'}
	
html = requests.get(url,headers = headers).text
#此处为text而非text（）
doc = pq(html)
#调用items（）函数，是pyquery对象变为一个generator
items = doc('.item-title a').items()

for item in items:
	#item.text()使一个pyquery对象转变为字符串形式
	print(item.text())
	#打开一个文档，如果不存在，则创建一个
	with open('zhihu_lol.txt','a',encoding='utf-8') as f:
		f.write(item.text()+'\n')