记录个人在工作学习中的思考和遇到的问题。

采用scrapy框架爬取大型网站遇到的bug和个人经验

需求:爬取肯德基某一地区的餐厅数量以及其具体信息 (以下代码我仅仅展示出餐厅的店名信息，并将其用列表方式保存在.txt文件中)学习python爬虫的好课推荐: b站上的路飞学城IT，提醒：该课程适合对web、计算机网络和python有一定基础的朋友学习，因为爬虫需要对页面源码进行分析，所以有以上基础更加容易入门。此外，学习爬虫的过程其实也是学习python的过程，没有必要为了爬虫专门先学习python，这样容易懈怠学习爬虫的动力。过程:第一步：首先进入到需要爬取的静态页面，其网址为: ht..

1、Singer_Scraping.pyimport urllib.requestimport urllib.parsefrom bs4 import BeautifulSoupimport refrom pypinyin import pinyinimport Music_ScrapingbaseUrl = 'https://www.9ku.com/geshou'# 请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; W