qq_44692640的博客

@ststucmethod 装饰器 凡是使用这个装饰器装饰的函数，称之为静态函数，静态函数可以由类（不需要创建对象）和对象直接调用。 @staticmethod def print_line(): print('-'*50)@classmethod 类函数 可以由类直接调用，函数中有一个cls参数，指的是当前调用这个函数的类，类函数可以由对象调用，...

官网地址： https://www.mongodb.com/download-center?jmp=nav#community点击图中链接进入所有版本的下载列表我下载的是3.6.5版本的下载完成后按照下面步骤安装选择complete安装选择安装目录路径安装完成后点击finish启动MongoDB服务进入MongoDB安装目录(说明：mongod.exe为MongoDB服务...

基本概念如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这个点是...

1.使用命令行工具下载工具包 scrapy_redis2.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器3.修改spider爬虫文件4.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接5.配置远程连接的MySQL及redis地址分布式用到的代码应该是同一套代码1） 先把...

1、安装scrapyd模块命令行工具打开输入：pip install scrapyd等待安装完成。安装完成后输入scrapyd，启动scrapyd服务。出现以上界面表示scrapyd已启动。让其服务在后台运行。在浏览器输入2、如果连接成功先关闭服务，自己在非C盘下新建一个文件夹，名称自定义如:test，然后进入该文件夹，shift+右键 打开命令行工具，输入执行，执行完成后会新建一...

Mysql数据库写入方式，引入pymysql安装包，下面的是同步写入数据import requestsimport pymysqlclass MysqlPipeline(object): def open_spider(self, spider): # 连接mysql数据库 self.conn = pymysql.connect( ...

一、由上图可知，scrapy由以下组件组成：1、engine：scrapy的引擎组件2、scheduler：scrapy的调度器组件3、downloader：scrapy的下载器组件4、spiders：scrapy的爬虫组件5、Item、Pipline：scrapy的管道组件6、DownloadMiddlewares: scrapy的下载中间件组件7、SpidersMiddlewar...

在这里插入 通信：人与人之间通过某种媒体进行的信息交流与传递网络通信：通过网络将各个孤立的设备进行连接，通过信息交换实现人与人，人与计算机，计算机与计算机之间的通信。 (网络是用物理链路将各个孤立的工作站或主机相连在一起，组成数据链路，从而达到资源共享和通信的目的。通信是人与人之间通过某种媒体进行的信息交流与传递。网络通信是通过网络将各个孤立的设备进行连接，通过信息交换实现人与人，人与计算机，...

关于HTTP请求GET和POST的区别1.GET提交，请求的数据会附在URL之后（就是把数据放置在HTTP协议头＜request-line＞中），以?分割URL和传输数据，多个参数用&连接;例如：login.action?name=hyddd&password=idontknow&verify=%E4%BD%A0 %E5%A5%BD。如果数据是英文字母/数字，原样发送，...

HTTP协议简介超文本传输协议（英文：Hyper Text Transfer Protocol，缩写：HTTP）是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP协议请求的资源由统一资源标识符（Uniform Resource Identifiers，URI）来标识。HTTPS（Hypertext Transfer Protoc...

# sqlite3 数据库import sqlite3# 1.连接数据库# 如果文件不存在，创建并连接文件，存在，连接conn = sqlite3.connect('database.db')# 2.获取游标cursor = conn.cursor()# 准备sql语句"""创建表PRIMERY KEY 主键NOT NULL 非空UNIQUE 唯一 AUTO_...

# lambda 匿名函数 定义简单逻辑的函数# lambda 参数列表: 函数返回值 条件判断num = reduce(lambda x,y:x*y, list1)print(num)# filter 过滤 条件为真的数据

内存: 指的是程序所占用的空间为什么要管理内存？1.每创建一个对象，会在内存中开辟一小块空间，来存放对象。2.内存的空间是有限制的，不能无限使用。3.把不需要再使用的对象所占用的空间清理掉。内存管路一分为两种形式：自动管理和手动管理。手动管理：C语言自动管理：Python，OCPython中如何做内存管理的？Python中垃圾回收机制是什么？Python是自动管理内存...

如何给对象添加、修改属性# 给对象添加属性p1.name = 'zhangsan'print(p1.name)# 修改对象属性值p1.name = 'lisi'print(p1.name)# setattr()是一个内置函数，是给对象添加属性和值# setattr(对象,属性名(字符串),属性值)# setattr(p1, key, value)# 删除对象属性de...

爬取的是app下的抖音专栏下的音频文件用抓包工具，抓取url，分析url，获取json数据，用xpath提取列表。# -*- coding: utf-8 -*-import scrapyimport requestsimport jsonfrom XmlySpider.items import XmlyItemclass XmlySpider(scrapy.Spider): ...