爬虫心得

爬虫心得

爬虫步骤：

1. html网页源代码获取
2. 目标数据解析
3. 数据保存

在写解析部分的代码时，为了避免频繁访问url，我们可以将HTML代码保存到txt文件，后面只需要对txt文件中的html代码进行解析，当解析成功后，我们就可以直接对url进行解析了。

with open(file.txt, 'a', encoding='utf-8') as f:
	f.write(data)