爬取中国天气网数据:
目标数据:地区名 最低气温,最高气温
存入cvs表中
知识点
一、开启多线程
class Queue.Queue(maxsize) FIFO 先进先出
- Queue.qsize() 返回队列的大小
- Queue.empty() 如果队列为空,返回True,反之False
- Queue.full() 如果队列满了,返回True,反之False
- Queue.full 与 maxsize 大小对应
- Queue.get([block[, timeout]])获取队列,timeout等待时间
- Queue.task_done()表示队列中某个元素呗消费进程使用,消费结束发送的信息。每个get()方法会拿到一个任务,其随后调用task_done()表示这个队列,这个队列的线程的任务完成。就是发送消息,告诉完成啦!
二、BeautifulSoup4
文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种 :标签、</

本文介绍了如何爬取中国天气网的地区最低和最高气温数据,并将其存储到CSV文件中。主要涉及的技术包括开启多线程进行数据抓取以及利用BeautifulSoup4解析HTML文档。在多线程部分,讲解了Queue模块的方法,如qsize(), empty(), full()以及get()和task_done()。在BeautifulSoup4部分,提到了它将HTML转化为树形结构,便于处理标签、NavigableString、BeautifulSoup和Comment等对象。"
136168549,17663336,2024华为OD机试:机场航班调度算法-Python实现,"['Python', '算法', '字符串处理', '排序', '华为开发']
最低0.47元/天 解锁文章
497

被折叠的 条评论
为什么被折叠?



