weixin_44820920的博客

xpath一、简介在XML文档中找信息，对HTML同样适用二、关系1）父节点每一个元素都有一个节点，user元素是name，sex元素的父节点<user> <name>nihao</name> <sex>1</sex></user>2）子节点name，sex元素都是user元素的子节点<user> <name>nihao</name> <sex>1<

爬虫一、简介1） 基于网络获取数据2）分类1.根据网站爬取数量不同：通用爬虫，例如 搜索引擎聚焦爬虫，例如 12306，专门抓取一或一类网站数据2.根据是否以获取数据为目的，可以分为：功能性爬虫， 比如给你喜欢或关注的人点赞、投票数据增量爬虫，比如 招聘信息3.根据url地址和对应的页面内容是否改变，数据增量爬虫可分为：基于URL地址、内容变化的数据增量爬虫URL地址不变，内容变化的数据增量爬虫二、HTTP 和 HTTPS 协议HTTP是Hyper Text Transf

python包网站清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pypi.hustunique.com/山东理工大学：http://pypi.sdutlinux.org/豆瓣：http://pypi.douban.com/simple/

一，安装1）Scrapy官方文档：http://doc.scrapy.org/en/latest2) Scrapy中文文档： http://scrapychs.readthedocs.io/zh_CN/latest/index.html注意：在ubuntu上安装scrapy之前，需要安装以下依赖：sudo apt-get install python3-dev bu...

字体反爬一，字体反爬原理1，字符串编码1）通过查看源代码2）通过Ctrl+f 输入font-face 搜索font-face3）搜索完成后出现 font-face 而后将base4后括号里的字符串解码2，url编码1）通过查看源代码2）通过Ctrl+f 输入font-face 搜索font-face3）搜索后出现font-face 找到url进行下载二，分...

一、将线程封装类1、代码如下：import threadingimport time class Sketch(threading.Thread): def run(self): for x in range(3): print("%s他正在写生"% threading.current_thread()) time....

一、单线程操作一 》 操作二 》操作三 》执行完成示例如下：import timedef sketch(): for x in range(3): print("%d他正在写生"%x) time.sleep(1) def reader(): for x in range(3): print("%d他正在看书"...

一、创建App1.workon djangoToo2.ls --- cd Too3.ls --- cd Info4.ls --- python manage.py startapp teacher(APP名)5.ls --- cd teacher6.ls （创建完成）二、设置1.打开sttings 找到ALLOWED_HOSTS = ['*'] 添加*三、创建...

一、项目创建1.workon（查看有无项目）2.mkvirtualenv -p/usr/bin/python3 django（见名思意）3.pip install django==2.1.74.mkdir Too（创建文件夹） rmdir Too删除文件夹 rm -rf Too（删除非空文件夹）5.cd Too （项目文件存放的文件夹名）6.选择和编辑器版本无关的通用方式来创建项...

Django一、初识1）介绍django是web应用框架2）web应用框架互联网 传送 数据 信息 电网 传送 电3） Web应用发电厂 -----》 服务器程序（Nginx、apache） Web应用本质—程序—服务器程序+应用程序4）应用程序—电器WSGI----电源模块Web框架Web应用—造电器Web框架—基本原理\1. 电器有不同的品牌...

线程和线程池一、线程简介1）线程简介1.python—>编程语言---->开发应用程序程序：1.驱动程序，比如显卡驱动程序 2.操作系统，比如windows系统 3.应用程序，比如qq应用程序，存储在硬盘上的二进制文件，只有被加载到内存空间的时候，它才具备生命周期进程就是一个运行中的应用程序每一个进程默认启动一个线程，这个线程叫做主线程，线程属于进程。2）线程的实现1...

一、Datetime模块1）简介1.0datetime是python处理时间和日期的标准库3.主要使用： datetime.datetime( ) 、 datetime.timedelta( )3）类中常用方法1.获取当前日期时间：datetime.now();res = datetime.now()print(res) #2019-08-02 11:26:11.66336...

一、JSON模块1）简介json官网：https://www.json.org/2）特点轻量级的文本数据交换格式易于人类阅读和编写，同时也易于机器解析和生成Web世界当中最理想的数据交换格式二、前后端数据交换1）简介目前互联网开发前后端数据交互使用的基本都是json三、JSON语法规则1）语法1.数据由键值对组成2.键值对由逗号分隔3.大括号里保存对象4.中括号里保存...

一、筛选条件1）比较运算符select * from student where id>2;select * from student where id<>2;select * from student where id is not Null;2）逻辑运算符select * from student where id=1 and name='fei';selec...

一，数据库简介1）简介数据库：计算机系统中一种提供数据存储和检索的一种软件数据库分类：关系型数据库（sql）：建立在关系模型上的数据库。是由多张能互相连接的二维行列表格组成的数据库。SQL（结构化查询语言）专为数据库而建立的操作命令集。Structured Query Language 结构化查询语言语法通用存储方式固定 安全非关系型数据库（nosql）：Not Only SQL...

zip/unzipzip命令可以用来解压缩文件，或者对文件进行打包操作unzip命令用于解压缩由zip命令压缩的“.zip”压缩包这两个不是Linux自带的，需要安装sudo apt-get install zipsudo apt-get install unzipzip:-q：不显示指令执行过程-r：递归处理，将指定目录下的所有文件和子目录一并处理unzip:-o 解压时不...

.Linux命令进程：简单理解为正在进行中的程序。top：进程监视，监视系统的实时状态ps：提供进程的一次性查看ps -ef |grep 8000kill 进程号workon # 查看虚拟环境名workon 环境名 # 进入指定的虚拟环境mkvirtualenv -p /usr/bin/python 环境名 # 创建一个新的环境Vimvim三种模式：命令模式、插入模式...

一、概念正则表达式是一个工具，用来匹配或者提取字符串，用re库来实现，所有的正则表达式的语法都是一样的爬虫和web爬虫：按指定的格式提取信息web：12345@qq.comre.findall():将符合规则的字符串，以列表的形式，全部返回。2.元字符正则表达式由普通字符和元字符组成。普通字符包括大小写的字母和数字，而元字符则具有特殊含义。常用元字符：. ^ $ {} *...

增加方法：1.从列表的最后面插入 append2.指定位置插入 insert3.插入多条数据 extend 要传入一个序列类型，会把里面所有的元素拆分出来删除方法：4.默认从最后开始删除，也可以添加索引，删除索引的值 pop5.指定删除，列表里面必须得有这个元素 remove6.删除所有 clear查询：index : 传入数据得到下标，这里可以传入第二个值，第二个值是索引...

Web课程Linux命令统计​ 这里统计的Linux命令不要求全部掌握，但是对于基础、进阶和并发班部分的命令要能熟练使用。1.分类统计分类 命令 总数1.基本必知 cd, ls, mkdir, rmdir, cp, mv, cat, touch, rm, help, man 112.网络 wget, telnet, ping, netstat, ifconfig, route, ip, c...

@查看数据类型的方法数据类型包括数字类型、布尔值（bool）、字符串（str）type：查看数据类型 temp = ‘hello’ t = type（temp） print（t）help、type：查看数据类型的全部方法 help（type（temp））dir：查看类下面的全部方法 d = dir（temp） print（d）查看类下某特定...

@数据类型数字类型1、整数类型（int）b = 123b = int(123)print = (type(b))2、浮点型（float） a = 0.123 b = 1.23 print(a)3、复数（complex）14.2 + k ## 布尔值（bool）1、False 所有的空字符串（“”），空列表（[]），空字...

列表（list） 1、有序、可变、 允许重复 2、常用功能 1）索引 c = ['s','d,'f'] print(c[1]) print(c[-3]) 2) 长度 c = ['s', 'd, 'f'] prin...

一、函数基础1）函数的定义 def 函数名(参数)： pass return 表达式 2）函数名命名规则： 字母、数字和下划线组成，和变量命名规则一致return 后面可以返回任意表达式，但不能是赋值语句return：3）注意 return 和 p...

一、内置函数1）内置查看内置对象查看：dir(builtins)2） 常见函数len 求长度min 求最小值max 求最大值sorted 排序reversed 反向sum 求和3）高级1.enumerate 返回一个可以枚举的对象2.eval 取出字符串中的内将字符串str当成有效的表达式来求指并返回计算结果3.exec 执行字符串或complie方法...

一、流程 1. 控制流程 print('----1-----') print('----2-----') print('----3-----')` 2.选择流程 ...

一、匿名函数f = lambda 变量名：返回值f()filter(lambda x: x>10, li)简单函数# def f1(): # 不带参数# return 1213# 等同于f1 = lambda: 12123res = f1()print(res)# def f2(a1, a2): # 带参数# return a1 + a...

一、定义1）是一个独立存放变量(属性/方法)的空间2）例如：class Pare:name = ‘不错’ 类属性print（Pare.name） 访问属性是类名+.+类属性名类里面叫定义 外面叫添加实例化a = Pare() a是实例化的对象在外面添加的叫实例属性class Cat: """这是一个猫类"""# class 关键字# Cat 类名 大驼峰...

一、继承1）封装：self参数传入的是创建的对象，self可以直接将对象带参数传入类中方法，这种在对象中封装数据，对类进行了优化的方法就叫封装。2）当一个继承自另一个累的时候，会先去子类里面找，如果有先调用没有去夫类找。1)class Rectangle: # 矩形类 def __init__(self,length,width): self.length = ...

一、魔法方法1）__super__方法（函数可以调用父类的方法）class Base: def play(self): super().play() print('这是Base') class A(Base): def play(self): super().play() ...

一、文件操作1）打开文件path = 'test.txt'path = r'/home/pyvip/py_case/test.txt'file = open(path, 'w+')2）写入file.write('Python')file.writelines([‘1’, ‘2’, ‘3’]3）读取与关闭file.read()file.readline()file.rea...

一、认识错误异常就是报错1）异常处理2）常见的报错信息a + 1 # NameError: name 'a' is not defined 变量未定义for i in range(5)：# SyntaxError: invalid character in identifier 语法错误5 - "b" # TypeError: unsupported operand type...

一、.迭代器for 迭代变量 in 可迭代对象每一次循环都会自动让“迭代变量”指向“下一个元素” 。从可迭代对象生成一个迭代器，迭代器 = iter(可迭代对象)，下个值 = next(迭代器)for 实现原理1.1 可迭代对象的判断#1.for#2.‘iter’li = [1, 2, 3, 4, 5]print(dir(li)) # ‘iter’`1.2 迭代器：容...

数据类型:1.int 整数2.float 小数：小数运行，浮点数不精确 解决浮点数不精确：decimal3.bool：只有两个值，True和False 首字母要大写4.complex 复数序列类型：序列类型有下标，是从0开始的1.str，不分单双引号的，引号包围的都是字符串 如果引号里面又要使用引号，就可以用单双引号区分一下2.list 列表 中括号包围的就是列表 列表里面有下标，这个...