giun的博客

利用selenium自动登录126邮箱不多说直接上代码from selenium import webdriverfrom time import sleepdriver = webdriver.Chrome()driver.get("http://www.126.com")# 登录sleep(2)# 切换到登录界面的表单driver.switch_to.frame(0)# 由于这边的id不固定，故使用name参数driver.find_element_by_name("email")

WebDriver API一、定位元素（一）、Xpath定位（二）、用By定位元素二、控制浏览器三、WebDriver中的常用方法四、鼠标操作五、键盘操作六、获取验证信息一、定位元素一共有八种定位元素的方法id定位 -》 find_element_by_id()name定位 -》 find_element_by_name()tag定位 -》 find_element_by_tag_name()class定位 -》 find_element_by_class_na

pandas之数据可视化一、散点图二、矩阵图三、折线图四、饼图五、柱形图与条形图data都为数据框一、散点图import matplotlibimport matplotlib.pyplot as plt# 配置主题颜色，注意RGB颜色范围为【0,1】mainColor = (91/255, 155/255, 213/255, 1)# 使用scatter绘制散点图plt.scatter( data['广告费'], data['购买用户数'], # 点的颜色设置 c = mainCol

pandas之数据分析一、基本统计分析二、分组分析、结构分析、分布分析、交叉分析三、RFM分析说明：没有特殊说明的话，data都表示数据框一、基本统计分析基本统计分析又称描述性分析，其主要统计指标有计数、求和、平均值、方差、标准差等describe()函数的运用import pandasdata = pandas.read_csv( 'D:/1.csv', engine='python', encoding='ut8')# sales为列data.sales.describe()

pandas之数据处理一、数据导入与导出（一）、csv文件的数据导入与导出（二）、txt和excel文件的数据导入与导出二、数据清洗（一）、数据排序（二）、去除重复数据（三）、缺失与空格数据处理三、数据转换（一）、数值与字符的转换（二）、字符转时间四、数据抽取（一）、字段拆分（二）、记录抽取（三）、随机抽样五、数据合并（一）、记录合并和字段合并（二）、字段匹配六、数据计算一、数据导入与导出（一）、csv文件的数据导入与导出import pandas# 将1.csv数据导入到data变量中data

python的selenium环境安装及配置一、安装selenium二、安装对应浏览器的driver（一）谷歌浏览器（二）、火狐浏览器三、测试是否配置成功一、安装selenium直接使用命令pip install selenium二、安装对应浏览器的driver安装好模块，就要开始安装对应的浏览器的驱动了。注意版本不同的浏览器安装不同版本的驱动（一）谷歌浏览器谷歌浏览器对应的webdriver的下载网址为：http://chromedriver.storage.googleapis.com/

python网络爬虫一、网络爬取的概述与分类1、网络爬虫的概述2、网络爬虫的分类3、网络爬虫的基本原理二、网络爬取的基本技术1、网络的基本请求（1）、urllib模块（2）、urllib3模块（3）、requests模块2、请求头部处和超时处理3、代理服务4、HTML解析之BeautifulSoup一、网络爬取的概述与分类1、网络爬虫的概述网络爬虫是指按照指定的规则，自动流量或抓取互联网中的信息。2、网络爬虫的分类通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫3、网络爬虫的基本原理

一、文件夹结构二、相关说明1、系统开发环境windows10系统，python3.6,开放工具ptcharm20182、系统功能结构 1.生产6位数字防伪编码（213563型） 2.生成9位系列产品数字防伪编码（879-33577型） 3.生成25位混合产品序列号（R2R12-M7TY3-GH35O-DW2K8） 4.生成含数据分析功能的防伪编码（1245M95...

一、安装命令pip install pyinstaller二、pip需要升级错误解决命令python -m pip install --upgrade pip三、 Getting requirements to build wheel … error（build 依赖包安装错误）ERROR: Command errored out with exit status 1: 'c:\...

一、文件夹结构二、相关说明1、系统开发环境windows10系统，python3.6,开放工具ptcharm20182、相关库python内置模块os和re三、系统功能结构包括6大模块录入学生信息模块、删除学生模块，修改学生模块，查找学生模块，排序学生模块，查询、统计学生模块。四、相关代码# _*_ coding:utf-8 _*_import re, osdef m...

1、面向对象概述1.1、对象（object）对象是一个抽象的概念，表示任意存在的事物对象可以分为2部分，就是静态部分和动态部分。静态部分被称为“属性”，如人的性别；动态部分指的是对象的行为（对象执行的动作），如人可以走路在python中，一切都是对象，即不仅把具体事物称为对象，字符串、函数等也是对象。（pyhton天生就是面向对象的）1.2、类类是封装对象的属性和行为的载体，反过来说具...

1、字符串常规操作1.1、拼接字符串使用“+”号可以实现多个字符串的拼接，并产生一个字符串对象。如a = "123"print(a+"1234")1.2计算字符串长度使用len（）函数如str ="123a,时候"print(len(str))输出7可以看出在len函数计算字符串的长度时，不区分数字，英文，汉字，所有字符都认为是一个字节但是，如果采用UTF-8编码...

1、自定义模块在Python中一个.py文件就是一个模块。在python中自定义模块有2个作用。一个是规范代码，让代码更易于阅读。另一个是方便其他程序使用已经编写好的代码，提高开发效率、要实现自定义模块主要分为创建模块和导入模块2部分。1.1、创建模块就是将模块中的相关代码编写在单独的文件中，文件名为模块名.py要注意的是设置的模块名不能与python自带的标准库名称一样。如果一样的话...

1、初识GUI1.1、什么是GUIGUI是Graphical User Interface(图像用户界面)的缩写。在GUI中有输入文本、返回文本，具有有窗口、按钮等图像，也可以通过键盘和鼠标操作。GUI是一种与程序不同的方式。GUI的程序有3个基本要素：输入、处理、输出。1.2、常用的GUI框架python的GUI开发，有很多工具包，下面是一些流行的工具包工具包描述w...

1、基本的文件操作python中内置了文件(fFle)对象,使用文件对象的大概流程如下：1、创建文件（通过内置open()函数）2、通过该对象提供的方法进行一些基本的文件操作，如write()、close()等方法1.1、创建和打开文件可以通过open()方法实现语法格式：file = open(filename[,mode[,buffering]])说明：file:为被创建的...

1、数据库编程接口市面有多种数据库如mysql、SQLite等等。为了对数据库进行统一的操作，大多数语言提供了简单的、标准化的数据库接口（API）。在Python Database API 2.0规范中，定义了Python数据库API接口的各个部分。下面我将介绍数据库API接口中的连接对象和游标对象1.1、连接对象数据库连接对象（Connection Object）主要提供数据库游标对象和提...

1、Django框架的使用1.1、安装Djnago Web框架使用pip安装，命令如下pip install django == 2.2 # 安装 2.2版本的Django1.2、什么是virtualenv及windows下如何配置virtualenv是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹，用来使用Python工程所需的...

1、线程的介绍2、线程与进程的区别例子。 import threading import time def fun(num): print("线程执行%d"%num) time.sleep(2) # 执行5个形参 for i in range(5): t = threadi...

1.1、安装pygamepip install pygame验证是否安装成功。在IDLE里输入以下命令,如果输出pygame的版本信息，则说明安装成功import pygamepygame.ver1.2、Pygame常用模块模块名功能pygame.cdrom访问光驱pygame.cursors加载光驱pygame.display访问显示设备...

1、函数的创建与调用函数出了python中的内置函数外，我们也也可以根据需求，自己创建函数创建函数语法格式def functionname([parameterlist]) ['''comments'''] [functionbody]调用函数语法格式 functionname([parameterlist])小技巧：在调用函数时，如果指定了“comment(注释)”参数，那...

1、异常处理语句1.1、try…except语句语法格式：try: block1except [ExceptionName [as alias]]: block2参数说明：block1：表示可能出错的代码块ExceptionName [as alias]:可选参数，用于指定要捕获的异常，其中 ExceptionName表示要捕获的异常名称，如果在其右侧加上 as alias 表...

prettify()方法在没有使用该功能之前使用该功能之后可以明显看出差别，prettify使得我们的界面更加美观，代码输出更加格式化，也可以对单独的标签进行操作...

直接给出代码，代码里注释很详细哈# 从网络上获取大学排序网页的内容,并按一定的格式输出from bs4 import BeautifulSoupimport bs4import requests# 从网络上获取大学排序网页的内容def getHTMLText(url): try: r = requests.get(url,timeout=30) ...

一、爬取京东商品话不多说直接上代码import requestsurl="https://item.jd.com/2967929.html"try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000])#截取前1000个...

一、网络爬虫的尺寸二、网络爬虫的“骚扰”三、网络爬虫的限制四、robots协议（一）、定义、作用、形式（Disallow不允许爬取）（二）、遵守方式...

一、request的安装方法1.用管理员权限打开cmd控制台，并进入相对应的python路径使用一下命名进行安装pip install requests2.在pycharm中的安装方法3.测试requests库是否安装成功import requestsr=requests.get("http://www.baidu.com")//检测请求的状态码，如果状态码为200，访问成功...

以爬取百度首页为例子直接上代码import requestsurl="http://www.baidu.com"html=requests.get(url).textprint(html)输出结果乱码，可这是为什么呢？很明显是编码问题造成的我们去百度看下网页源码，编码为utf-8然而我们的编译器，采用的也是utf-8，都是utf-8为什么会乱码呢？这时候就想到了，直接输出百度...

一、查找demo里的a标签里的href的内容from bs4 import BeautifulSoupimport requestsr = requests.get("http://python123.io/ws/demo.html")demo = r.textsoup = BeautifulSoup(demo,"html.parser")for link in soup.find_...

1、序列序列就是用于存放多个值的连续的空间，且具有顺序关系。python中序列结构主要包括列表、元素、集合和字典。1.1索引（indexing）索引是从0开始计算在python中索引也可以是负数，从右向左计数，最右边的数是的索引为-1（也就是最后一个数的下标可以是-1）.如a = ["你","好","啊","吗"]print( a[0] )print(a[-4])print("...

本文章内容的python版本默认为python3.x1、注释注释包括单行注释，多行注释，中文声明注释1.1、单行注释注释内容从#号到换行为止结束语法格式：# 注释内容注释格式：第一种#请输入你的年龄age=int(input("请输入你的年龄"))第二种age=int(input("请输入你的年龄")) #请输入你的年龄1.2、多行注释在python...

如果有错误请指出爬取的股票数据的位置的确定步骤配置并发链接选项步骤一：步骤二：编写spider文件打开对应文件# -*- coding: utf-8 -*-import scrapyimport reclass StocksSpider(scrapy.Spider): name = 'stocks' allowed_domains = ['baidu...

yield关键字生成器写法def gen(n): for i in range(n) yield i**2看例子scarpy基本使用scarpy的使用步骤scrapy爬虫的数据类型1、request类2、response类3、item类scrapy信息提取方法介绍下css selector的基本使用...

scrapy之入门实例首先我们需要参加一个scrapy工程打开cmd输入scrapy startproject 工程名可以看到生成一个文件夹里面有以下图中文件各个文件介绍其次在工程中产生一个爬虫scrapy genspider demo python123.io//生产名为demo的爬虫然后会生产一个demo.py文件demo.py的内容然后配置产生的spd...

·scrapy框架一、engine模块1、控制所有模块的数据流2、根据条件触发事件3、不需要用户修改二、download1、根据请求下载模块2、不需要用户修改三、scheduler1、对所有请求进行调度管理2、不需要用户修改四、spider1、解析download返回的response（响应）2、产生爬取scraped item（爬取项）3、产生额外的request...

在参考了https://blog.youkuaiyun.com/zaq0123/article/details/78573186/这篇博客我自己对代码加了一些修改与注释代码如下import turtle# 设置初始位置turtle.penup() # 提起画笔turtle.left(90) # 逆时针旋转九十度turtle.fd(200) # 向前移动一段距离 fd=forwardtu...

Scrapy是一个功能强大的网络爬虫框架Scrapy的安装与测试安装:pip install scrapy(cmd需要管理员运行，然后进入python环境（我安装的事python3.6）对应路径，然后输入该命令)测试:scrapy -h我在安装的时候遇到安装失败的问题，我想可能是我以前安装的模块中与该模块产生冲突，导致系统不知道如何选择，于是我使用以下命令：pip install sc...