hi all:
上一篇博客中写的代码有一些问题。
问题一:beautifulsoup运行时占用内存直线上升的问题。
运行时内存占用严重经过我后来的分析,问题主要产生在re_goodsname = last_list[0].string
这行代码上,只要将.string改成.text即可。原因是re_goodsname = last_list[0].string
类型是beautisoup的自定义类型,而re_goodsname = last_list[0].text
类型是unicode类型(具体产生的原因实在没整明白,可能是因为python自身问题导致beautifulsoup在大量运行自定义类型时,回收机制有问题吧),附上类型截图
问题二:xlwt库保存的excel文件问题
xlwt保存的文件是xls文件,该类型文件在03版excel中只能支持65536行,这对于需要大量使用excel存储数据的时候会报错(具体错误我没有记录,因为在运行较本前我想到了这个问题)。这时,需要将文件保存为xlsx格式。然而,我通过百度并未发现xlwt可以保存为xlsx格式的证据,所以,我更换了我使用的库。我将xlwt改为openpyxl,然后对excel进行操作。当然,过程也并不是一帆风顺的,在此也出现了一个小问题,openpyxl.append()用来对excel文件进行写操作,是直接写在第一行的(例子:a1单元格,a2单元格,a3单元格 写后变为 asdf,aseww,ljjh),如果需要按行写(例子:a1单元格 ,b1单元格,c1单元格 写后变为qwer,qwerasdf,dfg),对于我们将要写入的可迭代对象进行处理,以list为例,openpyxl.append(list)将会写入成”a1单元格,a2单元格,a3单元格”格式,我们如果想写入成“a1单元格 ,b1单元格,c1单元格”格式,需要对传入的list进行处理。na
爬虫爬取京东部分需要的数据,遇到的一些问题总结
最新推荐文章于 2025-06-09 16:10:02 发布