
Python3.6.5
捕翼
???????
展开
-
Pandas
pandas的常用数据类型1.Series 一维,带标签数组2.DataFrame 二维,Series容器pandas之Series创建import pandas as pdimport numpy as npimport stringIn [28]: s = pd.Series(np.arange(10),index=list(string.ascii_uppercase[:10])) # index行标签In [29]: sOut[29]:A 0B 1C 2原创 2020-12-30 15:18:25 · 556 阅读 · 0 评论 -
数据分析matplotlib&numpy
一、数据绘图matplotlibmatplotlib:最流行的Python底层绘图库,主要做数据可视化图表,名字取材于MATLAB,模仿MATLAB构建官网:https://matplotlib.org/绘制折线图matplotlib基本要点每个红色的点是坐标,把5个点的坐标连接成一条线,组成了一个折线图。那么到底如何把它通过代码画出来呢?在使用绘图的时候应该还要考虑下面的要点:1.设置图片大小(想要一个高清无码大图)2.保存到本地3.描述信息,比如x轴和y轴表示什么,这个图表示什么4原创 2020-12-30 15:11:37 · 1147 阅读 · 0 评论 -
Scrapy学习笔记
scrapy初识什么是框架?所谓的框架简单通用解释就是就是一个具有很强通用性并且集成了很多功能的项目模板,该模板可被应用在不同的项目需求中。也可被视为是一个项目的半成品。如何学习框架?对于刚接触编程或者初级程序员来讲,对于一个新的框架,只需要掌握该框架的作用及其各个功能的使用和应用即可,对于框架的底层实现和原理,在逐步进阶的过程中在慢慢深入即可。什么是scrapy?Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。其内部已经被集成了各种原创 2020-12-14 20:27:17 · 2808 阅读 · 0 评论 -
Python spiders基础学习笔记
爬虫简介什么是爬虫:通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程。爬虫的价值:实际应用就业爬虫究竟是合法还是违法的?在法律中是不被禁止具有违法风险善意爬虫 恶意爬虫爬虫带来的风险可以体现在如下2方面:爬虫干扰了被访问网站的正常运营爬虫抓取了收到法律保护的特定类型的数据或信息如何在使用编写爬虫的过程中避免进入局子的厄运呢?时常的优化自己的程序,避免干扰被访问网站的正常运行在使用,传播爬取到的数据时,审查抓取到的内容,如果发现了涉及到用户隐私,商业机密原创 2020-12-15 15:47:14 · 2965 阅读 · 0 评论 -
python PyMySQL模块
数据库的安装和连接PyMySQL的安装pip3 install PyMySQLpython连接数据库import pymysqldb = pymysql.connect("数据库ip","用户","密码","数据库" ) # 打开数据库连接cursor.execute("SELECT VERSION()") # 使用 execute() 方法执行 SQL 查询,cursor是游标,就是当前在表中所执行到的位置。就像光标一样,光标所在的位置就是下一次将要插原创 2020-11-12 15:41:30 · 236 阅读 · 0 评论 -
python 并发编程---协程
协程介绍协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是协程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。需要强调的是:#1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)#2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)对比操作系统控制线程的切换,用户在单线程内控制协程原创 2020-11-11 21:25:40 · 158 阅读 · 0 评论 -
python 并发编程---线程
操作系统线程理论线程概念的引入背景进程前面我们已经了解了操作系统中进程的概念,程序并不能单独运行,只有将程序装载到内存中,系统为它分配资源才能运行,而这种执行的程序就称之为进程。程序和进程的区别就在于:程序是指令的集合,它是进程运行的静态描述文本;进程是程序的一次执行活动,属于动态概念。在多道编程中,我们允许多个程序同时加载到内存中,在操作系统的调度下,可以实现并发地执行。这是这样的设计,大大提高了CPU的利用率。进程的出现让每个用户感觉到自己独享CPU,因此,进程就是为了在CPU上实现多道编程而提出原创 2020-11-10 21:28:26 · 276 阅读 · 0 评论 -
python并发编程---进程
理论知识操作系统背景知识顾名思义,进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。所以想要真正了解进程,必须事先了解操作系统,操作系统介绍PS:即使可以利用的cpu只有一个(早期的计算机确实如此),也能保证支持(伪)并发的能力。将一个单独的cpu变成多个虚拟的cpu(多道技术:时间多路复用和空间多路复用+硬件上支持隔离),没有进程的抽象,现代计算原创 2020-11-10 21:22:23 · 496 阅读 · 0 评论 -
python---网络编程
一、 socket五层通讯流程但实际上从传输层开始以及以下,都是操作系统帮咱们完成的,下面的各种包头封装的过程,用咱们去一个一个做么?NO!Socket又称为套接字,它是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。当我们使用不同的协议进行通信时就得使用不同的接口,还得处理不同协议的各种细节,这就增加原创 2020-11-08 20:55:08 · 470 阅读 · 0 评论 -
python3 异常处理
一,异常和错误part1:程序中难免出现错误,而错误分成两种1.语法错误(这种错误,根本过不了python解释器的语法检测,必须在程序执行前就改正)#语法错误示范一if#语法错误示范二def test: pass#语法错误示范三print(haha2.逻辑错误#用户输入不完整(比如输入为空)或者输入非法(输入不是数字)num=input(">>: ")int(num)#无法完成计算res1=1/0res2=1+'str'part2:什么是异常异常就原创 2020-10-27 16:48:37 · 155 阅读 · 0 评论 -
Python3 面向对象进阶
一、反射1 什么是反射反射的概念是由Smith在1982年首次提出的,主要是指程序可以访问、检测和修改它本身状态或行为的一种能力(自省)。这一概念的提出很快引发了计算机科学领域关于应用反射性的研究。它首先被程序语言的设计领域所采用,并在Lisp和面向对象方面取得了成绩。2 python面向对象中的反射:通过字符串的形式操作对象相关的属性。python中的一切事物都是对象(都可以使用反射)四个可以实现自省的函数,下列方法适用于类和对象(一切皆对象,类本身也是一个对象)# hasattrdef ha原创 2020-10-27 16:47:55 · 153 阅读 · 0 评论 -
Python3 面向对象基础2
面向对象的三大特性一、继承1.1 什么是继承继承是一种创建新类的方式,在python中,新建的类可以继承一个或多个父类,父类又可称为基类或超类,新建的类称为派生类或子类python中类的继承分为:单继承和多继承class ParentClass1: #定义父类 passclass ParentClass2: #定义父类 passclass SubClass1(ParentClass1): #单继承,基类是ParentClass1,派生类是SubClass pass原创 2020-10-27 16:47:14 · 246 阅读 · 0 评论 -
Python3 面向对象基础1
一. 面向对象初识面向过程的程序设计的核心是过程(流水线式思维),过程即解决问题的步骤,面向过程的设计就好比精心设计好一条流水线,考虑周全什么时候处理什么东西。优点是:极大的降低了写程序的复杂度,只需要顺着要执行的步骤,堆叠代码即可。缺点是:一套流水线或者流程就是用来解决一个问题,代码牵一发而动全身。应用场景:一旦完成基本很少改变的场景,著名的例子有Linux內核,git,以及Apache HTTP Server等。面向对象的程序设计优点是:解决了程序的扩展性。对某一个对象单独修改,会立刻反映到原创 2020-10-27 16:43:00 · 399 阅读 · 2 评论 -
python shutil及logging模块
shutil模块import shutil# 拷贝文件# shutil.copy2('原文件', '现文件')# shutil.copy2('file1','file1_bak')# 拷贝目录# shutil.copytree("原目录", "新目录", ignore=shutil.ignore_patterns("*.pyc"))# shutil.copytree('dir1','dir1_bak')# 删除目录# shutil.rmtree('dir1_bak',ignore_e原创 2020-09-06 20:54:54 · 310 阅读 · 0 评论 -
python正则表达式及re模块
一、正则表达式正则表达式在线测试工具 http://tool.chinaz.com/regex/1、什么是正则正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法。或者说:正则就是用来描述一类事物的规则。(在Python中)它内嵌在Python中,并通过 re 模块实现。正则表达式模式被编译成一系列的字节码,然后由用C 编写的匹配引擎执行。2、规则字符组 : [字符组]在同一个位置可能出现的各种字符组成了一个字符组,在正则表达式中用[]表示字符分为很多类,比如原创 2020-09-06 18:39:52 · 354 阅读 · 0 评论 -
Python递归函数及二分法查找
一、初识递归递归函数:在一个函数里在调用这个函数本身。递归的最大深度:998正如你们刚刚看到的,递归函数如果不受到外力的阻止会一直执行下去。但是我们之前已经说过关于函数调用的问题,每一次函数调用都会产生一个属于它自己的名称空间,如果一直调用下去,就会造成名称空间占用太多内存的问题,于是python为了杜绝此类现象,强制的将递归层数控制在了997(只要997!你买不了吃亏,买不了上当…).拿什么来证明这个“998理论”呢?这里我们可以做一个实验:def func(n): print(n)原创 2020-09-05 21:25:38 · 610 阅读 · 0 评论 -
python软件开发规范
参考大神:https://www.cnblogs.com/jin-xin/articles/10903733.html转载 2020-09-02 12:16:33 · 136 阅读 · 0 评论 -
Python 常用模块
一、什么是模块常见的场景:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名字加上.py的后缀。但其实import加载的模块分为四个通用类别:1 使用python编写的代码(.py文件)2 已被编译为共享库或DLL的C或C++扩展3 包好一组模块的包4 使用C编写并链接到python解释器的内置模块为何要使用模块?如果你退出python解释器然后重新进入,那么你之前定义的函数或者变量都将丢失,因此我们通常将程序写到文件中以便永久保存下来,需要时就通过python test.原创 2020-09-01 17:14:13 · 308 阅读 · 0 评论 -
Python 模块
一、模块的定义与分类1.1 模块是什么一个函数封装一个功能,你使用的软件可能就是由n多个函数组成的(先备考虑面向对象)。比如抖音这个软件,不可能将所有程序都写入一个文件,所以咱们应该将文件划分,这样其组织结构要好并且代码不冗余。加入分了10个文件,每个文件里面可能都有相同的功能(函数),怎么办?所以将这些相同的功能封装到一个文件中,那么这个存储着很多常用的功能的py文件,就是模块。 模块就是文件,存放一堆常用的函数,谁用谁拿。怎么拿?比我们说一个函数就是一个功能,那么把一些常用的函数放在一个py文件中,原创 2020-08-30 11:32:54 · 227 阅读 · 0 评论 -
Python 装饰器
一、闭包由于闭包这个概念比较难以理解,尤其是初学者来说,相对难以掌握,所以我们通过示例去理解学习闭包。给大家提个需求,然后用函数去实现:完成一个计算不断增加的系列值的平均值的需求。例如:整个历史中的某个商品的平均收盘价。什么叫平局收盘价呢?就是从这个商品一出现开始,每天记录当天价格,然后计算他的平均值:平均值要考虑直至目前为止所有的价格。比如大众推出了一款新车:小白轿车。第一天价格为:100000元,平均收盘价:100000元第二天价格为:110000元,平均收盘价:(100000 + 1100原创 2020-08-26 15:58:46 · 184 阅读 · 0 评论 -
Python 内置函数
函数就是以功能为导向,一个函数封装一个功能,那么Python将一些常用的功能(比如len)给我们封装成了一个一个的函数,供我们使用,他们不仅效率高(底层都是用C语言写的),而且是拿来即用,避免重复早轮子,那么这些函数就称为内置函数,到目前为止python给我们提供的内置函数一共是68个all() any() bytes() callable() chr() complex() divmod() eval() exec() format() frozenset() globals() hash()原创 2020-08-25 16:46:54 · 247 阅读 · 0 评论 -
Python 生成器、推导式及匿名函数
一、生成器1.1 初识生成器什么是生成器?这个概念比较模糊,各种文献都有不同的理解,但是核心基本相同。生成器的本质就是迭代器,在python社区中,大多数时候都把迭代器和生成器是做同一个概念。不是相同么?为什么还要创建生成器?生成器和迭代器也有不同,唯一的不同就是:迭代器都是Python给你提供的已经写好的工具或者通过数据转化得来的,(比如文件句柄,iter([1,2,3])。生成器是需要我们自己用python代码构建的工具。最大的区别也就如此了。1.2 生成器的构建方式在python中有三种方式来原创 2020-08-24 21:01:56 · 276 阅读 · 0 评论 -
Python 函数名的运用、新版格式化输出及迭代器
一、函数名的运用函数名的定义和变量的定义几乎一致,在变量的角度,函数名其实就是一个变量,具有变量的功能:可以赋值;但是作为函数名他也有特殊的功能就是加上()就会执行对应的函数,所以我们可以把函数名当做一个特殊的变量,那么接下来,我们就来研究一下这个特殊的变量1.1 函数的内存地址def func(): print('山药')print(func) # <function func at 0x000001D4FA8AEC80>通过上面代码可以我们知道,函数名指向的是这个函数的原创 2020-08-24 15:05:37 · 324 阅读 · 0 评论 -
Python名称空间、作用域、函数的嵌套及关键字
一、名称空间,作用域1.1 名称空间1.1全局名称空间: 在python解释器开始执行之后, 就会在内存中开辟一个空间, 每当遇到一个变量的时候, 就把变量名和值之间的关系记录下来, 但是当遇到函数定义的时候, 解释器只是把函数名读入内存, 表示这个函数存在了, 至于函数内部的变量和逻辑, 解释器是不关心的. 也就是说一开始的时候函数只是加载进来, 仅此而已, 只有当函数被调用和访问的时候, 解释器才会根据函数内部声明的变量来进行开辟变量的内部空间. 随着函数执行完毕, 这些函数内部变量占用的空原创 2020-08-23 20:15:49 · 337 阅读 · 0 评论 -
Python函数的结构与调用,返回值及参数
一、函数的结构与调用1.1 函数的结构:def 函数名(): 函数体描述:def: 以def关键词开头,空格之后接函数名称和圆括号(),最后还有一个":"。def 是固定的,不能变,他就是定义函数的关键字。空格: 是为了将def关键字和函数名分开,必须有空格,当然你可以空2格、3格或者你想空多少都行,但一般空1格。函数名:函数名只能包含字符串、下划线和数字且不能以数字开头。虽然函数名可以随便起,但我们给函数起名字还是要尽量简短,并且要具有可描述性括号:是必须加的,先别问为啥要有括号,原创 2020-08-23 12:15:19 · 1018 阅读 · 0 评论 -
Python文件操作
一、文件操作基本流程操作文件3要素:文件路径:D:\abc.txt (你想操作这个文件,必须要知道这个文件的位置,路径尽量要简单一些,短一些)编码方式:utf-8,gbk,gb2312… (文件其实就是数据的存储,数据存储你需要知道这个数据是以什么编码存储的)操作模式:只读,只写,追加,写读,读…文件操作的内容流程:计算机系统分为:计算机硬件,操作系统,应用程序三部分。我们用python或其他语言编写的应用程序若想要把数据永久保存下来,必须要保存于硬盘中,这就涉及到应用程序要操作硬件,众所周原创 2020-08-15 16:21:59 · 591 阅读 · 0 评论 -
Python深浅copy
深浅copy其实就是完全复制一份,和部分复制一份的意思。先看赋值运算l1 = [1,'two',3,['山药',666]]l2 = l1print(l1) # [1, 'two', 3, ['山药', 666]]print(l2) # [1, 'two', 3, ['山药', 666]]l1[0] = 'one'print(l1) # ['one', 'two', 3, ['山药', 666]]print(l2) # ['one', 'two', 3, ['山药', 666]]原创 2020-08-05 20:51:26 · 150 阅读 · 0 评论 -
Python小数据池、代码块
一、id,is,==id是内存地址,只要创建一个数据(对象)都会在内存中开辟一个空间,将这个数据临时加在到内存中,这个空间是一个唯一标识的。就好比是身份证号,标识这个空间的叫做内存地址,也就是这个数据(对象)的id。可以用id()去获取这个数据的内存地址:name = '山药'print(id(name)) # 1632311693224这个就是内存地址== 是比较的两边的数值是否相等,而 is 是比较的两边的内存地址是否相等。 如果内存地址相等,那么两边数据其实是指向同一个内存地址。这个时候若原创 2020-08-05 19:45:20 · 180 阅读 · 0 评论 -
Python基础数据类型---列表、元组、字典、集合、编码进价、数据类型转换
文章目录一、列表(List)二、元组(tuple)三、字典(dict)四、集合(set)五、数据类型间的转换六、基础数据类型的总结七、编码八、练习题一、列表(List)列表是python的基础数据类型之一 ,其他编程语言也有类似的数据类型.比如JS中的数组, java中的数组等等. 它是以[ ]括起来, 每个元素用’ , '隔开而且可以存放各种数据类型。列表相比于字符串,不仅可以储存不同的数据类型,而且可以储存大量数据,32位python的限制是 536870912 个元素,64位python的限制是原创 2020-08-05 18:50:32 · 412 阅读 · 0 评论 -
Python流程控制语句
文章目录一、流程控制语句-------if二、流程控制语句------while循环三、流程控制语句------for循环一、流程控制语句-------if在程序里预设一些条件判断语句,满足哪个条件,就走哪条路。这个过程就叫流程控制。if…else语句单分支:if 条件: 满足条件后要执行的代码双分支:"""if 条件: 满足条件执行代码else: if条件不满足就走这段"""age = 18if age > 16 : print("oh!!原创 2020-08-01 21:32:58 · 304 阅读 · 0 评论 -
Python基础数据类型(int,str,bool)、格式化输出、程序交换
文章目录一、程序交互二、格式化输出数据类型:三、整数类型(int)四、字符串类型(str)五、布尔值类型(bool)一、程序交互name = input("please input your username : ") #input输入的内容是字符串,若要整型或其他数据类型,则需要做相应的转换!!age = input("please input your age : ")hometown = input("please input your hometown : ")print("Hello原创 2020-07-28 21:29:14 · 3333 阅读 · 0 评论 -
Python 3.6.5学习篇---注释、变量、常量、基本运算符、编码
文章目录一、注释二、变量三、常量四、基本运算符五、编码一、注释单行注释:# 被注释内容。多行注释:’’‘被注释内容’’’,或者""“被注释内容”""注:msg = ‘’’ #表示多行赋值,不表示注释,去掉前面的msg =则表示注释print(‘a’)print(‘b’)print(‘c’)‘’’二、变量变量:把程序运行的中间结果临时的存在内存里,以便后续的代码调用。变量的赋值abc = ‘123’ --------->变量名:abc,变量abc的值:123原创 2020-07-28 16:19:59 · 313 阅读 · 0 评论 -
Python简介
文章目录一、Python的发展与应用二、python是解释型编程语言三、python的优缺点四、Python的种类一、Python的发展与应用 python的创始人为吉多·范罗苏姆(Guido van Rossum)。Python可以应用于众多领域,如:数据分析、组件集成、网络服务、图像处理、数值计算和科学计算等众多领域。目前业内几乎所有大中型互联网企业都在使用Python,如:Youtube、Dropbox、BT、Quora(中国知乎)、豆瓣、知乎、Google、Yahoo!、Facebook、N原创 2020-07-28 12:18:38 · 140 阅读 · 0 评论