qsmy520的博客

最近在优化爬虫过程中的出现了IndexError: list index out of range。看图，这是什么原因呢？先print下you数组的长度。结果不出所料，当传入数组为空或者超出时就会出现这种问题。我这里给了两种解决方案，第一种直接将有空白的地方删除。接下来就要用到比bs4更方便的pyquery,这是一个类似于jquery库的python库。from pyquery im...

python3快速爬取房源信息，并存入mysql数据库，超详细闲来没事，想做一个有趣的项目，首先整理一下思路，如何快速爬取关键信息。并且实现自动翻页功能。想了想用最常规的requests加上re正则表达式，BeautifulSoup用于批量爬取import requestsimport refrom bs4 import BeautifulSoupimport pymysql然后...