python多线程2

最新推荐文章于 2023-09-29 00:20:47 发布
最新推荐文章于 2023-09-29 00:20:47 发布
阅读量197 收藏 1
点赞数
分类专栏： python爬虫笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/enginebrkalsy/article/details/117371427
版权
本文探讨了Python多线程的使用，包括线程数量的查看、线程的启动与资源竞争。详细介绍了线程间共享全局变量可能导致的问题及解决方案，如time.sleep()和join()方法。此外，还讲解了线程锁、死锁和队列操作，最后讨论了多线程在爬虫中的应用，提升爬取速度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

查看线程数量——enumerate（）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

通常用index代表索引

在这里插入图片描述

enumerate（）在threading线程库的作用——threading.enumerate()

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

加入time.sleep（）观察

import threading
# threading.enumerate()

def demo1():
    for i in range(5):
        print('我是demo1---%s' % i)
        time.sleep(1)

def demo2():
    for i in range(8):
        print('我是demo2---%s' % i)
        time.sleep(1)
def main():
    t1 =threading.Thread(target=demo1,name='demo1')
    t2 = threading.Thread(target=demo2,name='demo2')
    t1.start()
    t2.start()
    while True:
        print(threading.enumerate())
        if len(threading.enumerate())<=1:
            break
        time.sleep(1)


if __name__ == '__main__':
    main()

在这里插入图片描述

start()的作用——开启线程创建线程

在这里插入图片描述
在这里插入图片描述

global——修改值

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

函数与方法

在这里插入图片描述

线程资源竞争

线程间共享全局变量

import threading

num = 100


def demo1():
    global num
    num += 1
    print('demo1-num-%d' % num)


def demo2():
    # global num
    # num +=1
    print('demo2-num-%d' % num)


def main():
    t1 = threading.Thread(target=demo1, name='demo1')
    t2 = threading.Thread(target=demo2, name='demo2')
    t1.start()  # 开起线程和创建执行线程
    t2.start()
    # 线程间共享全局变量
    print('main-num-%d' % num)


if __name__ == '__main__':
    main()

在这里插入图片描述

当数量变大

import threading

num = 0

# num外部是0，demo1先加1，加到最后是100
def demo1(nums):
    global num
    for i in range(nums):  #nums接受args（100，）这个赋值100，就是循环100次
        num += 1
    print('demo1-num-%d' % num)

# demo2接受demo1的num值，最后结果应该是200
def demo2(nums):
    global num
    for i in range(nums):
        num += 1
    print('demo2-num-%d' % num)


def main():
    t1 = threading.Thread(target=demo1, args=(100,))
    t2 = threading.Thread(target=demo2, args=(100,))
    t1.start()  # 开起线程和创建执行线程
    t2.start()
    # 线程间共享全局变量
    # 最后结果应该同demo2一致为200
    print('main-num-%d' % num)


if __name__ == '__main__':
    main()

在这里插入图片描述

当数量变得更大时——200w时

在这里插入图片描述

线程间相互争抢资源，有的时候线程1对num进行运算还没赋值，线程2也对没有重新复制的num赋值，导致结果不同

在这里插入图片描述

解决方法：time.sleep（）

在这里插入图片描述

解决方法2：join（）——主线程一直等待全部的子线程结束之后，主线程自身才结束，程序退出

在这里插入图片描述
在这里插入图片描述

线程锁

互斥锁

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

死锁

在这里插入图片描述
在这里插入图片描述

两把锁——会程序堵塞（即使解锁两次也会堵塞）

在这里插入图片描述
在这里插入图片描述

threading.RLock()可以上多次锁

在这里插入图片描述

queue线程

在这里插入图片描述
在这里插入图片描述

判断队列是否为空——Queue（）.empty（）——True为空，False为非空

在这里插入图片描述

判断是否队列满—— Queue（）.full（）——False 为不满，True为满

在这里插入图片描述

put()将一个数据添加到队列中

在这里插入图片描述
在这里插入图片描述

注意——当指定大小后，在队列已满的情况再添加数据会导致程序堵塞，解决方式1为添加参数——timeout

在这里插入图片描述

解决方法2：putnowait（）

在这里插入图片描述

取数据 get（） 一次取一个

在这里插入图片描述

一次取一个，取完再取会堵塞，解决方式也是timeout（）或者getnowait（）

在这里插入图片描述

用多线程爬取

发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源，可以在network找XHR或者在ALL找

在这里插入图片描述
在这里插入图片描述

打开第一个url

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

普通（非多线程下的爬虫案例+csv保存）

# 发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源
# 可以再network找XHR或者在ALL找

# 点开一个，url https://app.mi.com/details?id=com.kuaiyin.live
# XHR 里的packageName是这个                   com.kuaiyin.live
# 所以url为‘https://app.mi.com/details?id=’ 拼接+ packageName
# 通过 XHR找到的url为
# 第一页 https://app.mi.com/categotyAllListApi?page=0
# 第二页 https://app.mi.com/categotyAllListApi?page=1

import requests
import time
import random
from fake_useragent import UserAgent
import csv
class XiaomiSpider():
    def __init__(self):
        # {}为占位 在后面的来一个format占位页数
        self.url ='https://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30'
        # headers
        # self.headers ={
        #     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
        # }

    # 获取响应内容 获得的内容使json数据
    def get_html(self,url):
        lst =[]
        # 写一个假的headers
        headers ={'User-Agent':UserAgent().random}
        # 之前的方法 把json变成python字典类型
        # response =requests.get(html) response.text
        # data =json.loads(requests.text)
        # 方法2
        # data =requests.json()
        # html =requests.get(url,headers=self.headers).json()
        html = requests.get(url, headers=headers).json()
        # 调用parse_html函数
        lst += self.parse_html(html)
        # print(item,type(item))
        return lst

    # 解析响应内容
    def parse_html(self,html):
        lst =[]
        # 现在是字典类型了
        # item ={}
        for app_dict in html['data']:
            item = {}
            # 将每个html（app_dict）的应用名赋值给空字典item，并设下key和对应value值
            item['app_name']=app_dict['displayName']
            item['app_category'] = app_dict['level1CategoryName']
            # 这个是应用程序的url
            item['app_link'] = 'https://app.mi.com/details?id='+app_dict['packageName']
            lst.append(item)
        return lst
    def save_html(self,lst):
        with open('xiaomi.csv','w',encoding='utf-8',newline='')as f:
            headers = ('app_name', 'app_category', 'app_link')
            dwriter = csv.DictWriter(f, headers)
            dwriter.writeheader()
            dwriter.writerows(lst)

    def main(self):
        # 一共67页 因为时0为第一页，67页为66，但是range最后一个取不到，要加1 所以开始range（67）
        lst =[]
        for page in range(67):
            url =self.url.format(page)
            # 调用get_html函数
            lst += self.get_html(url=url)
            # self.save_html(item)
            # 控制抓取频率
            # n =random.randint(1,2)等于是1=<n<=2
            # time.sleep(random.randint(1,2))
        self.save_html(lst)


if __name__ == '__main__':
    xiaomi =XiaomiSpider()
    xiaomi.main()

结果

在这里插入图片描述

用多线程方式爬取同一个网站——速度更快

import requests
import time
import random
from fake_useragent import UserAgent
import csv
import threading
from queue import Queue


class XiaomiSpider():
    def __init__(self):
        # {}为占位 在后面的来一个format占位页数
        self.url = 'https://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30'
        # 创建队列
        self.q = Queue()
        self.lock = threading.Lock()

    def url_in(self):
        # 将目标url放进队列
        for page in range(67):
            url = self.url.format(page)
            # 将网页数据添加到队列
            self.q.put(url)

    # 线程事件函数 获取url 请求解析处理
    def parse_html(self):
        # 线程中不可能只让线程抓取一页，所以来个死循环while true，不停抓取
        lst = []
        while True:
            # 上锁
            self.lock.acquire()
            if not self.q.empty():
                # 获取 url
                url = self.q.get()
                # 解锁
                self.lock.release()
                headers = {'User-Agent': UserAgent().random}
                # 将json类型转化为字典类型
                html =requests.get(url,headers=headers).json()
                # item = {}
                # lst =[]
                for app_dict in html['data']:
                    item = {}
                # 将每个html（app_dict）的应用名赋值给空字典item，并设下key和对应value值
                    item['app_name'] = app_dict['displayName']
                    item['app_category'] = app_dict['level1CategoryName']
                    # 这个是应用程序的url
                    item['app_link'] = 'https://app.mi.com/details?id=' + app_dict['packageName']
                    lst.append(item)
                # print(lst)
                self.save(lst)
            else:
                self.lock.release()
                break

    def save(self,lst):
        with open('xiaomi1.csv','w',encoding='utf-8',newline='')as f:
            headers =('app_name','app_category','app_link')
            dwriter =csv.DictWriter(f,headers)
            dwriter.writeheader()
            dwriter.writerows(lst)
    def run(self):
        # 调用方法，添加数据到队列，然后放在线程
        self.url_in()
        t_lst =[]
        for i in range(2):
            # 循环两次，创建两个线程
            t =threading.Thread(target=self.parse_html)
            # 这个写法跟创建t1 t2 一样
            t_lst.append(t)
            t.start()

if __name__ == '__main__':
    spider =XiaomiSpider()
    spider.run()

# JSONDecodeError 抓取频率太快了，json数据页面没加载完美及时返回

在这里插入图片描述

python中的多线程-共享全局变量
采菊东篱下，Python满乾坤！
08-10 4427
在一个进程内的所有线程共享全局变量，能够在不适用其他方式的前提下完成多线程之间的数据共享（这点要比多进程要好） 缺点就是，线程是对全局变量随意遂改可能造成多线程之间对全局变量的混乱（即线程非安全）   案例： from threading import Thread import time   num = 0  # 资源竞争问题   deffun1():
Python之线程(二)
happy19870612's blog
12-04 385
一 ThreadLocal 我们知道多线程环境下，每一个线程均可以使用所属进程的全局变量。如果一个线程对全局变量进行了修改，将会影响到其他所有的线程。为了避免多个线程同时对变量进行修改，引入了线程同步机制，通过互斥锁，条件变量或者读写锁来控制对全局变量的访问。 只用全局变量并不能满足多线程环境的需求，很多时候线程还需要拥有自己的私有数据，这些数据对于其他线程来说不可见。因此线程中也可以使用局部
Python 中多线程共享全局变量的问题
python学习者的博客
02-23 511
在之前，我们讲过了，Python 中多个线程之间是可以共享全局变量的数据的。 但是，多线程共享全局变量是会出问题的。 假设两个线程 t1 和 t2 都要对全局变量g_num (默认是0)进行加1运算，t1 和 t2 都各对g_num 加10次，g_num 的最终的结果应该为20。 但是由于多线程是同时操作，有可能出现下面情况： 在g_num=0时，t1 取得g_num=0。此时系统把 t1 调度为”sleeping”状态，把t2转换为”running”状态，t2 也获得 g_num=0。 然后 t2 对得到
PYTHON 多线程 配置文件 全局变量
killyouworld的博客
04-01 1115
项目场景： 启动多线程获取队列数据时，需要一个全局锁进行判断进入的接口，在某个条件后再解开锁 网上还有使用互斥锁等方法的，我觉得太复杂了 发现在配置文件创建个类就能起到全局变量的方法！ -----配置文件 # 全局锁 class global_var(object): def __init__(self): self.GIL = 1 def Lock(self): # 上锁 self.GIL = 0 def UnLock(self): # 解锁
python多线程-共享全局变量
kai46385076的专栏
08-22 1777
多线程-共享全局变量 from threading import Thread import time g_num = 100 def work1(): global g_num for i in range(3): g_num += 1 print("----in work1, g_num is %d---"%g_num) def work2()...
详解Python多线程下的list
09-16
本篇文章主要探讨了Python多线程下对列表(list)进行操作时的安全性问题。 首先，我们要明确一个概念：线程安全。线程安全指的是在多线程环境中，一个数据结构或函数在任何时候都能正确地处理多个线程的并发访问，...
python多线程接口案例
12-21
在这个特定的“python多线程接口案例”中，我们看到一个脚本被设计用来模拟50个或更多的用户并发访问某个内控公司的业务接口，并生成Excel报告记录结果。以下是对整个脚本的详细解析： 1. **获取Cookie**： 通过...
python 多线程重启方法
09-19
Python的多线程编程在处理并发任务时非常实用，但线程可能会因各种异常而停止运行，这将影响程序的稳定性。本篇文章主要探讨的是如何在Python中实现多线程的自动重启机制，以确保即使有线程崩溃，程序也能继续执行。...
Python多线程实现同步的四种方式
12-23
在Python编程中，多线程同步是处理并发执行的关键，主要目的是确保共享资源的安全访问，避免数据不一致性和竞态条件。以下四种方法是Python中实现多线程同步的常见方式： 1. **锁机制（Lock）** - **Lock** 类是...
python多线程同步之文件读写控制
09-18
在Python编程中，多线程同步对于文件读写控制至关重要，因为如果不加以控制，多个线程同时访问同一文件可能会导致数据不一致或者错误。这里我们将深入探讨如何在Python中使用多线程同步来确保文件读写的安全性。 ...
Python写的多线程共享全局变量(带中文注释)
03-08
Python写的多线程共享全局变量代码，用于学习多线程开发，可以直接运行，并且带中文注释，方便初学者学习使用。
python进阶之多线程对同一个全局变量的处理方法
09-19
今天小编就为大家分享一篇python进阶之多线程对同一个全局变量的处理方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 多线程共享全局变量的优劣
12-16
一、多线程共享全局变量 首先我们来回忆下在函数中修改全局变量的情况。 在一个函数中，对全局变量进行修改的时候，到底是否需要使用 global 进行说明，要看是否对全局变量的执行指向进行了修改。 如果修改了执行指向，即让全局变量指向了一个新的地方，那么必须使用 global。 如果仅仅是修改了指向的空间中的数据，此时不是必须要使用 global。 我们来看一个例子，在这个例子中，让一个子线程对全局变量 +1 操作，另一个子线程只打印全局变量，看看数据是否共享。 from threading import Thread import time g_num = 100 def work1():
Python-多线程-全局解释器锁 GIL-运行机制-全局变量-多进程调用
插件开发
07-08 672
全局变量：模块内、所有函数外、所有class外。 局部变量：函数内、class的方法（类方法、静态方法、实例方法）内，且变量前面没有修饰。 类变量：class内，不在class的任何方法内。 实例变量：class的方法内，使用self修饰。如果在print_str函数中没有使用global关键字显式引用全局变量，在print_str函数中将优先使用局部变量，而不是全局变量。 1.2.省略global关键字 当你的函数里只读取全局变量的值，此时可省略global，Python解释器明白你访问的是全局变量。 1
Python线程_多线程共享全局变量
qq_43476880的博客
04-03 160
多任务共享会更加效率 全局变量 全局args函数传参 多线程-共享全局变量问题 多线程开发可能遇到的问题 数据变大，资源竞争 死锁，银行家算法 避免死锁 ...
3_python高阶_线程—多线程-共享全局变量
brawly的博客
09-06 2046
假设两个线程t1和t2都要对全局变量g_num(默认是0)进行加1运算，t1和t2都各对g_num加10次，g_num的最终的结果应该为20。在一个函数中，对全局变量进行修改时侯，到底是否需要使用global进行说明，要看是否对全局变量的指向进行修改。
Python学习日记-第三十三天-多线程共享全局变量
arizia的博客
11-19 2934
某个线程要更改共享数据时，现将其锁定，此时资源的状态为锁定，其他的线程不能操作更改，直到该线程释放资源，将资源的状态变成非锁定，其他的线程才能再次锁定该资源，互斥锁保证了每次只有一个线程进行操作，从而保证了多线程情况下数据的正确性。假设两个线程test1和test2都要对全局变量g_num（默认=0）进项加1运算，两个线程都对g_num加10次，g_num最终结果应该为20。·如果在调用acquire对这个锁上锁之前，它已经被其他线程上锁，那么此时acquire会堵塞，直到这个锁被解锁为止。
Python多线程-全局变量的共享与修改
最新发布
2301_79325657的博客
09-29 1022
在Python多线程编程中，全局变量的共享和修改需要特别注意，以避免竞态条件和数据不一致性的问题。我们可以通过使用锁或线程安全的数据结构来实现全局变量的安全访问和修改。使用锁可以确保同一时刻只有一个线程可以访问被保护的代码块，从而避免竞态条件和数据不一致性。而线程安全的数据结构可以在多线程环境下安全地进行操作，简化了代码的实现。无论使用哪种方式，我们都需要仔细考虑全局变量的访问和修改逻辑，避免出现意想不到的问题，从而保证多线程程序的正确性和稳定性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值