floraruo的博客

最近在学习关于爬虫方面的知识，因为刚开始接触，还是萌新，所以有什么错误的地方，欢迎大家指出from multiprocessing import Poolfrom urllib.request import Request, urlopenimport re, pymongoindex = 0class DouBanSpider(object):    client = pymon...

一开始用的保存函数是将原来的文件内容替换掉，所以换了一种方法就可以追加数据内容了两种方法的对比1.追加数据的函数old_file = xlrd.open_workbook('qishu.xls')        new_file = copy(old_file)        new_sheet = new_file.get_sheet(0)        row = k  # ...

下面的例子是爬取糗事百科信息。注意：爬取任何一个网站，首先要确定的就是这个网站是静态网站还是动态网站。其次看看这个GET请求是否携带了特殊的参数。最后需要留意请求头Cookie信息。import sqlite3, refrom urllib.request import Request, urlopenfrom fake_useragent import UserAgentclas...

下面例子是爬取人人车车辆信息。 多线程/多进程：提高代码的执行效率，放在爬虫中就是提高爬取效率。因为可以使用多个进程同时对多个页面发起请求。from urllib.request import urlopenfrom urllib.error import HTTPError# 进程池：比较方便，使用简单。from multiprocessing import Poolimpor...

 1.首先应该建立一个Django项目，注意要选择Existing interpreter2、创建app，--python manage.py startapp.3、settings.py文件需要配置一下STATICFILES_DIRS = [os.path.join(BASE_DIR, 'static')]使可以找到文件包4、views中的代码fr...