python学习笔记---threading(多线程)使用方法1

python学习笔记—threading(多线程)使用方法1

#需求：使用requests中的get方法获取下面两个网页（urls=[‘http://www.baidu.com’,‘http://www.weibo.com’]）的文本信息并将其合并到一个文档里面。

import requests
import threading

urls=[‘http://www.baidu.com’,‘http://www.weibo.com’]

#创建元素进行占位，用于存储后面get获取的网页文件内容
fileContentList = [None for one in urls]

#创建锁对象
lock=threading.Lock()

def get_text_threading(idx,url):
#使用get方法获取网页内容
r=requests.get(url)
#上锁，控制访问 fileContentList
lock.acquire()
fileContentList[idx]=r.text
#释放锁
lock.release()

if name==‘main’:
#创建线程池
threadpool=[]
for idx,url in enumerate(urls):
#创建线程
t=threading.Thread(target=get_text_threading,args=(idx,url))
t.start()
threadpool.append(t)
for t in threadpool:
#join()方法,等待至所有线程结束
t.join()

#线程结束后，所有内容都获取到了mergetext，合并内容到html1.text
mergetext=’\n\n----------------------\n\n’.join(fileContentList)
print(mergetext)
#以可写的模式打开’html1.text’，如果没有此文档则创建，编码方式为’utf-8’
with open(‘html1.text’,‘w’,encoding=‘utf-8’) as f:
f.write(mergetext)