爬虫爬取京东部分需要的数据，遇到的一些问题总结

最新推荐文章于 2023-10-19 14:58:23 发布

胖超人

最新推荐文章于 2023-10-19 14:58:23 发布

阅读量7.2k

点赞数

分类专栏：爬虫 flatten beautifulsoup xlwt openpyxl.append

本文链接：https://blog.youkuaiyun.com/qq_37532151/article/details/81701103

版权

hi all：
上一篇博客中写的代码有一些问题。
问题一：beautifulsoup运行时占用内存直线上升的问题。
运行时内存占用严重经过我后来的分析，问题主要产生在re_goodsname = last_list[0].string这行代码上，只要将.string改成.text即可。原因是re_goodsname = last_list[0].string类型是beautisoup的自定义类型，而re_goodsname = last_list[0].text类型是unicode类型（具体产生的原因实在没整明白，可能是因为python自身问题导致beautifulsoup在大量运行自定义类型时，回收机制有问题吧），附上类型截图这里写图片描述
问题二：xlwt库保存的excel文件问题
xlwt保存的文件是xls文件，该类型文件在03版excel中只能支持65536行，这对于需要大量使用excel存储数据的时候会报错（具体错误我没有记录，因为在运行较本前我想到了这个问题）。这时，需要将文件保存为xlsx格式。然而，我通过百度并未发现xlwt可以保存为xlsx格式的证据，所以，我更换了我使用的库。我将xlwt改为openpyxl，然后对excel进行操作。当然，过程也并不是一帆风顺的，在此也出现了一个小问题，openpyxl.append（）用来对excel文件进行写操作，是直接写在第一行的（例子&#x