【数据挖掘与分析】python网络爬虫学习及实践记录 | part 05 爬虫进阶

最新推荐文章于 2023-01-04 03:12:30 发布

原创

最新推荐文章于 2023-01-04 03:12:30 发布 · 235 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫学记 #数据分析 #进阶类 #开发需要 #项目技术

本文介绍了Python中多线程的概念，通过threading模块进行多线程编程，并探讨了多线程下共享全局变量可能引发的问题及解决方案——锁机制。在实践中，通过示例展示了如何在多线程中防止数据错误。

数据说好的996！少一天都不行，赶完杂活儿，就来更第五部分了。

1-多线程概念和threading模块介绍

老师先介绍了多线程爬虫，通过资源使用效率提高系统效率。类比火车车厢，进程为火车，离开车厢的火车无法跑动。

threading模块： python中用作多线程编程的模块常用类-Thread

具体使用方法见代码范例：

#encoding:utf-8
#from ruby in 2019/08/17 21:19

import threading
import time

# 传统方式
def coding():
    for x in range(3):
        print('正在写代码%s'%x)
        time.sleep(1)

def drawing():
    for x in range(3):
        print('正在写画画%s'%x)
        time.sleep(1)
#传统方式
# def main():
#     coding()
#     drawing()
#
# if __name__ == '__main__':
#     main()

#多线程的用法
def main():
    t1 = threading.Thread(target=coding)
    t2 = threading.Thread(target=drawing)

    t1.start()
    t2.start()

if __name__ == '__main__':
    main