Yang_Fei_Long的博客

import pickleimport osimport configparserimport jsonconfig = configparser.ConfigParser()config.read("base.conf")base_url = config.get('base_config', 'url')# f = open(os.path.join(base_url, 's

分布式任务分配，目前流行的就是master-worker型，也就是有个master进程（或线程）来分配任务，其余的worker进程（或线程）来处理任务。我们一般都是采取多进程分布式处理任务，因为多进程比多线程要更加的稳定（起码在python中是这样）。首先写master.pyimport queue, random, timefrom multiprocessing.manage

from urllib import request, parsefrom html.parser import HTMLParserimport jsonfrom idna import unicodeclass MyHTMLParser(HTMLParser): def __init__(self): self.__xsrf = 0 # 爬取知乎，登录需要

1.在python中对于处理一些由unicode编码后的字符串，我们使用unicode_escape解码，比如str1 = '\u4f60\u597d' print str1.decode('unicode_escape') 你好 2.在浏览器中输入的url，是经过iso-8859-1编码后的，所以，我们在后端获取url之后，需要使用decode('iso-8859

from flask import Flask, request, render_templatefrom urllib import requestfrom bs4 import BeautifulSoupimport reapp = Flask(__name__)@app.route('/', methods=['GET', 'POST'])def home(): ret