qq_37532151的博客

hi all： 上一篇博客中写的代码有一些问题。 问题一：beautifulsoup运行时占用内存直线上升的问题。 运行时内存占用严重经过我后来的分析，问题主要产生在re_goodsname = last_list[0].string这行代码上，只要将.string改成.text即可。原因是re_goodsname = last_list[0].string类型是beautisoup的自定义...

#_*_coding=utf-8 _*_ #__author__ = 'Administrator' from selenium import webdriver from bs4 import BeautifulSoup import sys import time from compiler.ast import flatten import requests import re impo...

异步加载的网页，解决办法 亲们：作为一名测试人员，时不时的客串下别的角色亦是我的工作职责。公司需要爬取京东部分数据，不可避免的会遇到技术问题。废话不多说，说下异步加载怎样应对。 科普一下先，老鸟请跳过。异步加载也叫非阻塞模式加载，浏览器在下载js的同时，同时还会执行后续的页面处理。简单的来讲，beautifulsoup解析的html文件，与在浏览器中网页呈现的html并不完全一致（尤其是商品价格，...