weixin_50108437的博客

【代码】python __getattribute__、__getattr__、__setattr__魔法方法详解。

script创建工程: scrapy startproject XXX(工程名称)目录:spiders 放置爬虫文件settings.py 配置文件pipelines.py文件: 管道在spiders子目录中创建一个爬虫文件cd XXX(进入到创建的工程内)scrapy genspider name(爬虫文件名称) www.xxx.com(url创建后可以修改)爬虫文件 XXXSpider类(父类:scrapy.Spider)属性:n

xpath解析安装pip install lxml使用from lxml import etree # 导入# 将本地HTML文档的源码数据加载到etree对象中etree.parse("路径")# 可以从互联网获取的元码数据加载到该对象中etree.HTML(res.text)# 获取指定的元素etree.xpath('xpath表达式')# 例# 实例化etree对象tree = etree.parse("test.html")#

from bs4 import BeautifulSoupimport requestsimport timeimport randomimport csvimport pandas as pdimport numpy as npfrom pandas import Series,DataFramedef get_html(url): user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8;

定义向服务器发送请求的类import requestsimport chardetimport random# 向服务器发送请求def getHtml(url): user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mo.

直接上实例:(以下皆是在jupyter上的运行效果)# 导入模块import numpy as npimport matplotlib.pyplot as plt# 处理中文正常显示plt.rcParams['font.sans-serif'] = 'SimHei'# 处理负号正常显示plt.rcParams['axes.unicode_minus'] = Falsestep1:创建三角函数np.arange(-4, 4, 0.5)array([-4. , -3.5, -3

准备pandasnumpyjupyterimport pandas as pd基本情况数据集基本情况探索# 导入数据df = pd.read_csv('govstats2556/2015年国内主要城市年度数据.csv')print('--'*20,'\n>>>[1]数据集基本情况探索')print('\n>>>',df.shape, df.shape[0], df.shape[1]) # 样本形状 样本数,特征数探索print('

单链表单链表是线性表的一种单链表的存储数据的地方称之为节点,每个节点有两个区域一个数据域和一个节点域,节点域用于指向它的下一个节点单链表就像一条链子,只要找到它的头部,就可以顺这链子一直找到最后,所以它有一个头结点head单链表的方法is_empty() 链表是否为空length() 链表长度travel() 遍历整个链表add( item) 链表头部添加元素append( item) 链表尾部添加元素insert( pos, item) 指定位置添加元素

爬虫工具-- seleniumchrome + chromedriver (一般都用这个)firefox + firefoxdriverie + iedriver===========================chrome的版本与 chromedriver 必须版本是一致的。1- 确定浏览器版本2- 下载 chromedriver地址 ： https://npm.taobao.org/mirrors/chromedriver/下载好之后，解压得到一个.exe文件,将它复制粘贴

from bs4 import BeautifulSoupimport requestsimport reimport chardetimport xlwt# 向服务器发送请求def urlConn(url): res = requests.get(url, headers={'User-Agent':"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Ge

# 1.未定义:NameError: name 'a' is not definedprint(a)---------------------------------------------------------------------------NameError Traceback (most recent call last)<ipython-input-1-70ed2873a890> in <modu

正则表达式字符含义abc一个abc[…]匹配[]中出现的任意一个字符[0-9]表示匹配0-9任意一个数字(abc|李四|小红)表示匹配abc或李四或小红(abc|李四|小红){2,3}表示匹配abc或李四或小红2次或3次^abc表示要匹配的字符串必须要以a开头abc$表示要匹配的字符串必须要以c结尾元字符符号含义.任意一个字符\d一个数字\s一个空格\b单词边界(单词的左边或右边有空

作业1import pymysqlclass The_book: def __init__(self,database_name): self.database_name = database_name def conn_db(self): # 连接数据库 return pymysql.connect('127.0.0.1', 'root', 'root', self.database_name, charset='utf8')

import requestsimport osos.mkdir("ooxx") # 创建ooxx文件夹用来保存图片def get_page(html): """ 下载图片 """ a = 0 while a != -1: a = html.find('class="view_img_link"',a+500) b = html.find('href="',a-100) if b != -1:

面向对象类定义# 创建类对象class dog pass# 实例化对象d = dog()类对象class MyClass: """一个简单的类实例""" i = 12345 def f(self): return 'hello world' # 实例化类x = MyClass() # 访问类的属性和方法print("MyClass 类的属性 i 为：", x.i)print("MyClass 类的方法 f 输出为：", x.f()

python访问数据库import pymysqlconn = pymysql.connect(host=host, user=user, passwd=password, db=db)创建游标：cur = conn.cursor()执行SQL：cur.execute("INSERT INTO table VALUE something")cur.execute("SELECT * FROM table")获取数据：data = cur.fetchone() # 获取1条数据data

os模块os 模块提供了非常丰富的方法用来处理文件和目录os.getcwd() 返回当前工作目录os.chdir(“dirname”) 改变当前工作目录import ospath = "c:\software"# 获取当前文件所在路径current = os.getcwd()print("current:", current)os.chdir(path)after = os.getcwd()print("after:", after)os.mkdir(path)

Python3 File(文件) 方法open() 方法Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用形式是接收两个参数：文件名(file)和模式(mode)。open(file, mode='r')完整的语法格式为：open(file, mode='r', buffering=-

函数#定义函数的方法def 函数名（参数列表）:函数体return 返回值#调用函数函数名（具有实际值的参数列表）1.一般规则(1) 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。（2）任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。（3）函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。（4）函数内容以冒号起始，并且缩进。（5）return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 N

1请用tuetle画出下图import turtlet = turtle.Pen()turtle.screensize(1000,1000,"black")colors=["red","yellow","blue","green","brown"]for i in range(50): t.pencolor(colors[i % 5]) t.write("max",font=("Arial",int((i+4)/4),"bold")) t.left(360/5+2)

循环语句while语法while 条件:循环执行的语句for语法:break 语句 在语句块执行过程中终止循环，并且跳出整个循环continue 语句 在语句块执行过程中终止当前循环，跳出该次循环，执行下一次循环。pass 语句 pass是空语句，是为了保持程序结构的完整性。range(begin,end[,step])/range(len) 返回一个范围内的数据，需和for结合使用，遍历begin到end-1位置上的元素/遍历0-len-1元素。for x in rang

1、输入三个整数x,y,z，请把这三个数由大到小输出。import easyguia = int(easygui.enterbox("请输入第一个数"))b = int(easygui.enterbox("请输入第二个数"))c = int(easygui.enterbox("请输入第三个数"))if a > b: if a > c: if b > c: print(a,b,c) else:

turtle安装turtle在cmd命令行中直接输入:pip install easygui可直接安装turtle包turtle常用方法turtle.speed(speed) 设置画笔移动速度，画笔绘制的速度范围[0,10]整数，数字越大越快turtle.forward(distance) 向当前画笔方向移动distance像素长度turtle.backward(distance) 向当前画笔相反方向移动distance像素长度turtle.right(degree) 顺时针移动deg