wurobb的博客

线程是cpu调度的基本最小单位，cpu调动最小资源，通过线程执行资源，一个进程可以拿着资源开若干个线程，不同线程之间交替执行。运行中的程序，独立的运行程序，进程是资源的基本最小单位，有独立内存，是并行操作。线程是不能随便创建的，所以需要控制线程数量，线程池可以完成这项工作。继thread并重写Thread的run方法。多进程：多个任务相互独立，很少有交集。多线程：任务相对统一，互相特别相似。同时发生任务，并行。

查看一下这个请求的请求头，是一个 get 请求，观察一下 url 和 payload 发现原网址为 https://wap.miit.gov.cn/api-gateway/jpaas-publish-server/front/page/build/unit，？参考：https://www.bilibili.com/video/BV1NX4y1X7AE?有时候html源代码不包含数据资料，这是因为开发者设置了异步加载数据的策略，本文以。至此，目标 url 就解析完毕了。获得目标url后，直接对该网址请求。

参考：https://www.bilibili.com/video/BV1NX4y1X7AE?在客户机和服务器之间进行请求-响应时，两种最常被用到的方法是：GET 和 POST。提示访问出错，原因服务器需要特定请求头，查看一下默认请求头。POST请求往往需要提交参数，以百度翻译为例，其输入。get请求也可以传递参数，例如。后面即为参数=值，用&连接。

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match() 就返回 none。和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回，迭代器可以提高速度。字符串中找到正则表达式所匹配的所有子串，并返回一个列表。返回一个元组包含匹配 (开始,结束) 的位置。返回被 RE 匹配的字符串。

【代码】住建 政策 爬取 实战。

【代码】【无标题】

抓取房产网站信息本次的教程爬取一下某绿色房产网站的房产信息，具体信息可以参照上篇爬虫教程，这次唯一的不同是我们需要获得更多的信息。本次要获得详情页面的更为详细的信息，从目录点到详情页。详情页里面红框里的内容就是我们要获取的。从目录页按F12的html链接来看,详情页的链接写在’div’, class_ = 'list-item’里面。套个循环，获取一页中的所有详情页的链接，进到详情页，根据详情页的信息根据正则表达式获得即可。完整代码。import urllibimport refrom

爬取房产数据爬虫介绍实战目标1.获取url2.利用BeautifulSoup获取html的索引3.查找所需数据索引4.正则表达式获取所需要的信息完整代码爬虫介绍简单介绍一下爬虫，百度百科“网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。”在我们这次的实战项目中，你需要了解的库有urllib，re，BeautifulSoup， request实战目标