dme.的博客

Python支持多种数据类型，包括数字、字符串、布尔、列表、元组、字典、Bytes和集合。数字类型包括整数、浮点数和复数，且为不可变类型，即值一旦改变即成为新对象。布尔类型仅有True和False两个值，常用于逻辑运算。字符串是由字符组成的序列，不可变且支持多种操作如索引、切片和连接。字符编码方面，Python支持ASCII、Unicode、UTF-8等编码方式，其中UTF-8因其兼容性和效率最为流行。这些数据类型和编码方式为Python处理各种数据提供了强大的支持。

在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。而这样的一个py文件在Python中称为模块（Module）。模块是组织代码的更高级形式，大大提高了代码的阅读性和可维护性。解释器内建模块python标准库第三方模块应用程序自定义模块另外，使用模块还可以避免函数名和变量名冲突。

在OOP程序设计中，当我们定义一个新类的时候，新的类称为子类（Subclass），而被继承的类称为基类、父类或超类（Base class、Super class）。面向过程的程序设计的核心是过程（流水线式思维），过程即解决问题的步骤，面向过程的思想就好比是精心设计好一条流水线，考虑周全什么时候处理什么东西。可以通过调用类的实例化方法（有的语言中也叫初始化方法或构造函数）来创建一个类的实例（对象）。是根据类创建出来的一个个具体的“对象”，每个对象都拥有相同的方法，但各自的数据可能不同。

requests模块是用来模拟浏览器发请求，因此可以基于requests模块实现爬虫的数据采集相关操作。1.实例化一个BeautifulSoup对象，然后把即将被解析的html页面加载到该对象中。json：如果抓包工具中的请求参数为字符串形式的键值对，则使用json参数。如果抓包工具中的请求参数为键值对，则使用data参数。需求：想要将页面中的一组指定标签的html代码获取，如何实现？不同的浏览器是需要使用不同的驱动程序！数据解析的通用原理是什么？基于浏览器自动化的模块。数据解析的作用是什么？

MongoDB是一个非关系型数据库(NoSQL). 非常适合超大数据集的存储, 由 C++ 语言编写,旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。下面是Sql与mongodb的术语对比。

这样一来，Netscape公司可以借助Java语言的声势，而Sun公司则将自己的影响力扩展到了浏览器，并不是因为JavaScript本身与Java语言有多么深的关系才叫做javaScript。Netscape 公司很快发现，Navigator浏览器需要一种可以嵌入网页的脚本语言，用来控制浏览器行为，因为当时，网速很慢而且上网费很贵，有些操作不宜在服务器端完成。这家公司的方向，就是在Mosaic的基础上，开发面向普通用户的新一代的浏览器Netscape Navigator。匿名函数，即没有变量名的函数。

pymysql模块:pip install pymysql。

异步的selenium。在 Pyppetter的背后是有一个类似 Chrome 浏览器的 Chromium 浏览器在执行一些动作进行网页渲染，首先说下 Chrome 浏览器和 Chromium 浏览器的渊源。

PyQt是一个用于创建桌面应用程序的Python绑定库。它提供了对Qt应用程序框架的完整访问，使开发者能够使用Python编写高性能、跨平台的图形用户界面(GUI)应用程序。PyQt可以在不同操作系统（如Windows、Mac和Linux）上运行，使开发者能够轻松地编写一次代码，然后在多个平台上部署和运行。Qt是一个功能强大的C++跨平台应用程序框架，它提供了大量用于创建图形用户界面的功能和工具。

​ WebAssembly（简称wasm）是一个虚拟指令集体系架构（virtual ISA），整体架构包括核心的ISA定义、二进制编码、程序语义的定义与执行，以及面向不同的嵌入环境（如Web）的应用编程接口（WebAssembly API）。是一种运行在现代网络浏览器中的新型代码，并且提供新的性能特性和效果。它设计的目的不是为了手写代码而是为诸如 C、C++和Rust等低级源语言提供一个高效的编译目标。对于我们爬虫来说,就是用JS调用其他语言做计算,再返回来给JS用.

​ age:18Redis hash 是一个键值(key=>value)对集合。

其实，我们想一想，mysql是一个软件，它有它自己一套的管理规则，我们想要跟它打交道，就必须遵守它的规则，如果我想获取数据，它自己有一套规则，这个规则就是SQL。什么是sql？SQL : 结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程言，是一种数据库查询和程序设计语言，SQL语言主要用于存取数据、查询数据、更新数据和管理关系数据库系统,SQL语言由IBM开发。其实简单的说，就是你发送给他能识别的暗号，他懂了就会给你返回数据。

scrapyd是一个用于部署和运行scrapy爬虫的程序，它由 scrapy 官方提供的。它允许你通过JSON API来部署爬虫项目和控制爬虫运行。所谓json api本质就是post请求的webapi选择一台主机当做服务器，安装并启动 scrapyd 服务。再这之后，scrapyd 会以守护进程的方式存在系统中，监听爬虫地运行与请求，然后启动进程来执行爬虫程序。

起始url：https://wz.sun0769.com/political/index/politicsNewest?crawlspider其实就是scrapy封装好的一个爬虫类，通过该类提供的相关的方法和属性就可以实现全新高效形式的全站数据爬取。8.需要向可以被共享的调度器的队列（redis_key的值）中放入一个起始的url。5.修改redis数据库的配置文件（redis.windows.conf）如何是的scrapy可以实现分布式呢？指定可以被共享的调度器。

在功能页面点击左侧的【技术文档】，选择SDK说明，选择对应的Python语言即可，先看快速开始内容，在选择你想要实现的具体功能的文档界面即可。需求：将网易新闻中的国内，国际，军事，航空四个板块下的新闻标题和内容进行数据爬取。点击页面左上角的三条杠，选择你想要实现的功能，点击，进入到指定功能页面。百度AI的使用：https://ai.baidu.com/实现将爬取到的新闻进行分类和关键字提取。点击首页右上角的控制台，进行登录。拓展功能：将人工智能+数据爬取中。登录后进入到了智能云的首页。

4.在配置文件中开启指定的管道，且通过IMAGES_STORE = 'girlsLib’操作指定图片存储的文件夹。什么是深度，说白了就是爬取的数据没有存在于同一张页面中。2.将提取到的链接封装到items对象中，提交给管道。使用一个专有的管道类ImagesPipeline。1.在爬虫文件中进行图片/视频的链接提取。必须使用请求传参的机制才可以完整的实现。如何爬取多页的数据（全站数据爬取）如何将数据存储到数据库。如何爬取深度存储的数据。

问题：在之前代码中，我们从来没有手动的对start_urls列表中存储的起始url进行过请求的发送，但是起始url的确是进行了请求的发送，那这是如何实现的呢？【注意】该方法默认的实现，是对起始的url发起get请求，如果想发起post请求，则需要子类重写该方法。需求：将网易新闻中的国内，国际，军事，航空四个板块下的新闻标题和内容进行数据爬取。需求：将图片的名称和详情页中图片的数据进行爬取，持久化存储。环境安装：pip install Pillow。

什么是框架？所谓的框，其实说白了就是一个【项目的半成品】，该项目的半成品需要被集成了各种功能且具有较强的通用性。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。初期如何学习框架？只需要学习框架集成好的各种功能的用法即可！前期切勿钻研框架的源码！

现在大部分视频客户端都采用HTTP Live Streaming，而不是直接播放MP4等视频文件（HLS，Apple为了提高流播效率开发的技术）。HLS技术的特点是将流媒体切分为若干【TS片段】（比如几秒一段），然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现实时流式播放。因此，在爬取HLS的流媒体文件的思路一般是先【下载M3U8文件】并分析其中内容，然后在批量下载文件中定义的【TS片段】，最后将其【组合】成mp4文件或者直接保存TS片段。

为什么要使用数据库？那我们在没有学习数据库的时候，数据存放在json或者磁盘文件中不也挺好的嘛，为啥还要学习数据库？文件中存储数据，无法基于文件直接对数据进行操作或者运算，必须借助python将数据读取到计算机内存中然后基于Python程序操作数据，麻烦而且性能不高。使用文件存储数据，无法实现数据的共享。什么是数据库呢？先介绍几个概念：数据：Data。

广义定义：进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。在操作系统中，每启动一个应用程序其实就是OS开启了一个进程且为进程分类对应的内存/资源，应用程序的执行也就是进程在执行。狭义定义：一个正在运行的应用程序在操作系统中被视为一个进程举例： 我们有py1文件中和py2文件，两个文件运行起来后是两个进程。

所以使用“池”必须考虑其面临的响应规模，并根据响应规模调整“池”的大小。接下来让我们来了解下协程的实现，从 Python 3.4 开始，Python 中加入了协程的概念，但这个版本的协程还是以生成器对象为基础的，在 Python 3.5 则增加了 asyncio，使得协程的实现更加方便。由于网络请求会受到个人电脑或者服务器响应时长不同等因素，我们可以自己创建一个专门用于测试的实验环境，搭建一个flask服务器，爬取本机自己服务器中的数据，避免其他因素的干扰，以便非常明显的观测出异步的效果。

切记:xpath表达式中不可以出现tbody标签，如果有直接将其删除跨过即可！在当前目录下新建一个test.html文件，然后将下述内容拷贝到该文件中。需求：将每一个章节的标题和内容进行爬取然后存储到一个文件中。需求：将前5页的所有id和port解析且存储到文件中。如何爬取多媒体资源（图片，音频，视频，动图）方式1：编写麻烦，但是可以实现UA伪装。html中的标签是遵从树状结构的。将爬取到的图片存储到指定的文件夹中。爬取精选图片的缩略图和标题。案例应用：批量爬取图片。案例应用：小说批量爬取。

元组也是序列结构，但是是一种不可变序列，你可以简单的理解为内容不可变的列表。除了在内部元素不可修改的区别外，元组和列表的用法差不多。所有会对元组内部元素发生修改动作的方法。例如，元组没有remove，append，pop等方法。用方括号括起来的是列表，那么用圆括号括起来的就是元组。删除某个元素（但可以删除整个元组）

环境对模型进行训练，参考：https://github.com/sml2h3/dddd_trainer。能识别，但是发现默认识别率有点低，想要提升识别率，可以搭建。截图每个字符，并基于ddddocr识别。根据坐标，在验证码上进行点击。

爬虫爬取的一切内容都是在内存进行的，这样会有什么问题吗？如果一旦短电或着发生意外电脑关机了那么你的工作成果将瞬间消失。所以，我们还缺少数据在本地文件系统进行持久化的能力，简单的来说就是文件读写操作。文件读写操作在爬虫中是必不可缺少的一部分。

本文来学爬虫使用requests模块的常见操作。

如此一来，数据传输都是密文，解决了明文传输数据的问题。但是，这么干有bug。浏览器如何获取对称秘钥？每个客户端的对称秘钥相同，浏览器能拿到对称秘钥，那么黑客也可以拿到，所以，数据加密也就没有意义了。

selenium可以操作浏览器，在浏览器页面上实现：点击、输入、滑动 等操作。

浏览器可以正常访问，但是用requests发送请求失败。后端是如何监测得呢？为什么浏览器可以返回结果，而requests模块不行呢？

通过公匙加密，使用私匙解密。私匙是通过公匙计算生成的。假设ABC三方之间相互要进行加密通信。大家相互之间使用公匙进行信息加密，信息读取时使用各自对应的私匙进行信息解密用户输入的支付密码会通过RSA加密。