Python继承和重写、多态、爬虫xpath

已于 2023-08-07 16:52:18 修改
阅读量344 收藏
点赞数
文章标签： 笔记 python 爬虫
于 2023-04-29 19:35:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_59759238/article/details/130443096
版权

01-扑克牌游戏排序

对上次练习的手牌排序功能的完善

from day27.poker import Poker
from day27.heguan import heguan
class Player:
    def __init__(self, name):
        self.name = name
        # 玩家拿着自己的牌
        self.card = []
        # 玩家熟知游戏规则
        self.rule = {'♠': [], '♥': [], '♣': [], '♦': []}
        self.exchange = {'A': 1, 'J': 11, 'Q': 12, 'K': 13}

    def get_card(self, card):
        self.card.append(card)

    def card_sort(self, cards):
        # 每个玩家手中的牌先按照花色归类
        for i in cards:
            self.rule[i[0:1]].append(i)

        def number(x):
            # 判断点数AJQK是否存在于玩家熟知的规则中
            if x[1:] in self.exchange:
                return self.exchange[x[1:]]
            else:
                return int(x[1:])

        for key, value in self.rule.items():
            # 自定义规则让sorted排序（高阶函数）
            self.rule[key] = sorted(value, key=number)
        self.card = [i for value in self.rule.values() for i in value]


# 实例化扑克牌
P1 = Poker(Poker.color, Poker.num)
print(P1.puke)
# 实例化荷官
H1 = heguan()
# 荷官洗牌
H1.shuffle_cards(P1.puke)
# 洗牌之后的牌
print(P1.puke)
# 实例化4个玩家
play_name = ['李狗蛋', '王二狗', '渣渣辉', '古惑仔']
p1, p2, p3, p4 = [Player(i) for i in play_name]
# 给4个玩家发牌
players = [p1, p2, p3, p4]
for _ in range(13):
    for play in players:
        play.get_card(H1.deal(P1.puke))
print('****发牌完成****')
print(p1.name, p1.card)
print(p2.name, p2.card)
print(p3.name, p3.card)
print(p4.name, p4.card)

print('****开始排序****')
for i in players:
    i.card_sort(i.card)

print('****排序完成****')
print(p1.name, p1.card)
print(p2.name, p2.card)
print(p3.name, p3.card)
print(p4.name, p4.card)

02-继承和重写

定义一个父类

# object是python中的顶级类，python中所有类都继承自object类
class Father(object):

    def __init__(self, name='隔壁老王', kungfu='传统煎饼果子宝典'):
        self.name = name
        self.kungfu = kungfu

    def cook(self):
        return f'{self.name}按照《{self.kungfu}》制作了美味的煎饼果子'


F = Father()
print(F.cook())
# 返回：隔壁老王按照《传统煎饼果子宝典》制作了美味的煎饼果子

定义儿子类，写继承

class Son(Father):

    # 王二麻子自己的属性
    # 虽然子类继承了父类的属性和方法，但是如果子类还有自己独有的属性还需要声明，我还想继承父类的属性
    # def __init__(self, name):
    #     # 当子类有独有属性时在继续使用父类属性
    #     super(Son, self).__init__(name)
    #     self.age = 18
    def __init__(self, name, age):
        # 当子类有独有属性时在继续使用父类属性
        Father.__init__(self, name, age)
        self.age = 18

    def new_cook(self, study_kungfu):
        return f'{self.name}学成归来，根据《{study_kungfu}》做出了美味的新式煎饼果子'

    # 重写父类方法
    def cook(self):
        return f'{self.name}根据《传统煎饼果子宝典》和《新式煎饼果子宝典》做出了美味的新式煎饼果子plus'

    # 重写之后继续调用父类的某方法
    def old_cook(self):
        # 方式一：
        # return super(Son, self).cook()
        # super(Son, self).cook() --> 子类Son绑定超类（父类）的cook方法
        # 方式二：调用未绑定的父类的方法
        return Father.cook(self)

S = Son('王二麻子', 18)
print(S.cook())
# 返回：王二麻子按照《传统煎饼果子宝典》制作了美味的煎饼果子
#      王二麻子根据《传统煎饼果子宝典》和《新式煎饼果子宝典》做出了美味的新式煎饼果子plus
print(S.new_cook('新式煎饼果子宝典'))
# 返回：王二麻子学成归来，根据《新式煎饼果子宝典》做出了美味的新式煎饼果子
print(Son.__mro__)
# 返回：(<class '__main__.Son'>, <class '__main__.Father'>, <class 'object'>)
# __mro__:能够查看继承顺序，同理，涉及到的方法、属性也是这样的顺序。
# 某个方法、属性先看自己有没有，自己没有找父类，父类没有找祖先，没有报错
print(S.old_cook())
# 返回：王二麻子根据《传统煎饼果子宝典》制作了传统的煎饼果子

多重继承，可以从有需求的地方直接取方法（但是不要乱继承）

class Sson(Son, Father, object, list, str, int):
    pass

day29

01-多态

一、概念

所谓多态，定义时的类型和运行时的类型不一样，此时就成为多态（多种形态）。简单来说，多态就是同一个接口，使用不同的实例而执行不同的操作。

同一个接口：打印机

不同的实例：黑白打印机、全彩打印机

执行不同的操作：打印效果是黑白和彩色之分

二、python不支持java、C#这一强类型语言中的多态的写法，但是我们可以借助python崇尚的”鸭子类型“，利用python伪代码实现java和C#中的多态。

”鸭子类型“：在程序设计中是一种动态类型的风格，在这种风格中，一个对象有效的语义不是由继承自特定的类实现的，而是当前方法和属性决定的。当看到一只鸟走起来像鸭子，游泳起来像鸭子，叫起来也像鸭子，那么这只鸟就可以被称为鸭子。

三、什么是动态类型语言、静态类型语言

静态类型语言：数据类型的检查是在编译期间，也就是说，在编写程序的时候就要声明所有变量的类型。

动态类型语言：在运行期间才检查数据类型，也就是说，在你定义某个变量时无需指明数据类型，只需要传递一个值，会自动记录下这个变量的类型，虽然某个变量存在了，但是我依旧可以给他重新赋值，重新指定数据类型。

四、多态前提条件

多态要实现的条件必须是继承和重写基础上的。

class Person:
    def __init__(self, name='人类'):
        self.name = name

    def say(self):
        return f'我是{self.name}'

class Father(Person):

    def __init__(self, name):
        super().__init__(name)

    def say(self):
        return f'我是{self.name}'

class Son(Person):

    def __init__(self, name):
        super().__init__(name)

    def say(self):
        return f'我是{self.name}'

p = Person()
f = Father('老父亲')
s = Son('王二麻子')

# print(p.say())
# print(f.say())
# print(s.say())
def say_api(x):
    return x.say()

for oj in (p, f, s):
    print(say_api(oj))
    # 多态就是同一个接口，使用不同的实例而执行不同的操作

02-面向对象练习题

1.定义一个二维点类，拥有属性：x、y坐标，拥有的方法：求当前点到另一个点的距离。

class Point:
    def __init__(self, x, y):
        self.x = x
        self.y = y

    def distance(self, other):
        return ((self.x - other.x) ** 2 + (self.y - other.y) ** 2) ** 0.5

P1 = Point(3, 4)
P2 = Point(5, 6)
print(P1.distance(P2))

2.定义一个圆类，拥有属性：圆心点坐标、半径，拥有的方法：求圆的面积和周长、还能判断当前圆与另一个圆的状态（相切（内切、外切）、相交、相离）。

继承了上面二维点类

class Circle(Point):
    pi = 3.1415926
    def __init__(self, x, y, r):
        self.x = x
        self.y = y
        self.r = r

    def area(self):
        return self.pi * self.r ** 2

    def perimeter(self):
        return 2 * self.pi * self.r

    def condition(self, other):
        lenght = super().distance(other)
        if self.r + other.r == lenght:
            return '外切'
        elif abs(self.r - other.r) == lenght:
            # abs方法：求绝对值的方法
            return '内切'
        elif self.r + other.r < lenght:
            return '相离'
        elif abs(self.r - other.r) > lenght:
            return '内含'
        else:
            return '相交'

C1 = Circle(0, 0, 5)
C2 = Circle(3, 4, 3)
print(C1.condition(C2))

截至到此，python基础已经全部学习完，不过学习完不等于掌握完，刷题才是王道。

day30

01-了解lxml、xml、xpath

一、什么是lxml？

是python中处理xml和html的功能最丰富的模块。这个模块利用xpath就可以实现对xml和html进行数据解析。

二、什么是xml？

xml指可拓展标记语言，xml是一种很像html的语言。html被设计用于在网页中显示数据；xml被设计用于传输和存储数据。

json和xml的区别：json对机器友好、xml对人类友好。

三、什么是xpath？

xpath是一门在xml文档中查找信息的语言，xpath可以使用“路径表达式”在xml文档中进行导航。

02-xpath语法及lxml的使用

以下是一段xml代码，依次代码为例来认识xpath语法

<supermarket>
    <name>山姆超市</name>
    <address>中国四川成都</address>
    <!-- 这是一条注释 -->
    <staffs>
        <name age="20" sex="男">张三</name>
        <name age="30" sex="女">李四</name>
        <name gender="男">王五</name>
    </staffs>
    <goods>
        <name price="100">啤酒</name>
        <name price="10">饮料</name>
        <name price="5">花生米</name>
        <name price="20">矿泉水</name>
    </goods>
</supermarket>

一、xpath语法

xpath的基本概念：树、节点、根节点、元素节点、属性节点、注释节点、文本节点。

1.树：整个html或者xml文档。

2.节点：树结构的每个部分都是节点（标签、文本、属性、注释等）。

3.根节点：树结构的第一个节点就是根节点（html文档的根节点是html标签）。

4.元素节点：一个标签就是一个元素节点，例如：山姆超市

5.属性节点：一个属性就是一个属性节点，例如：age=“20”

6.注释节点：一个注释就是一个注释节点。

7.文本节点：标签内的文本就是一个文本节点，例如：山姆超市

二、解析

安装lxml模块：pip install lxml

使用xml模块针对xml或html文档进行解析，返回一个_Element对象，针对这个对象就可以使用xpath进行路径导航，数据提取。

from lxml import etree
# 先将刚才的xml文档进行内容读取
with open('xml文档.xml', 'r', encoding='utf-8') as f:
    result = f.read()
# print(result)

1.解析文档

# 一般情况下解析xml文档使用xml方法，解析html文档使用html方法
root = etree.XML(result)
print(root)

2.使用xpath进行路径导航

路径表达式分为相对路径和绝对路径，xpath的写法和相对路径非常相似，我们崇尚相对路径，接下来就以相对路径来讲解xpath

相对路径：哪个节点在调用xpath方法，这个节点就使用.表示，然后一层一层向下写

注意：节点和节点之间使用/间隔，直接跨节点使用//

语法：节点对象.xpath(路径表达式)

Q1：获取staffs下的三个name节点

namelist = root.xpath('./staffs/name')
print(namelist)

Q2:获取所有的name节点

namelist_2 = root.xpath('.//name')
print(namelist_2)

Q3：在路径最后添加/text()可以得到这个节点的内容。

# 在路径最后添加/属性名可以得到这个节点的某属性的值
print(root.xpath('./staffs/name/text()'))
# 返回：['张三', '李四', '王五']

print(root.xpath('.//name/text()'))
# 返回：['山姆超市', '张三', '李四', '王五', '啤酒', '饮料', '花生米', '矿泉水']

age = root.xpath('./staffs/name/@age')
print(age)
# 返回：['20', '30']

3.谓语：在路径中需要添加条件的节点后面添加[]，[]中写条件

Q4：获取sex为男的员工的姓名：[@属性名=属性值]

name = root.xpath('./staffs/name[@sex="男"]/text()')
print(name)
# 返回：['张三']

Q5：获取有sex属性的员工姓名：[@属性名]

name = root.xpath('./staffs/name[@sex]/text()')
print(name)
# 返回：['张三', '李四']

Q6：获取第几个节点，下标从1开始：[N]

# 获取第三个商品的价格
price = root.xpath('./goods/name[3]/@price')
print(price)
# 返回：['5']

Q7：表示获取倒数第几个：[last()]最后一个，[last()-2]倒数第三个

# 获取倒数第三个人的姓名
name = root.xpath('./staffs/name[last()-2]/text()')
print(name)
# 返回：['张三']

Q8：position()：获取某些位置的标签（节点）

# 获取前三个商品的价格
price = root.xpath('./goods/name[position()<4]/@price')
print(price)
# 返回：['100', '10', '5']
# 后三个：[position()>1] 或者 [position()>last-3]

Q9：分支：| 将多个路径选择器使用|间隔，同时获取多个元素

print(root.xpath('./staffs/name/text()|./staffs/name/@age'))
# 返回：['20', '张三', '30', '李四', '王五']

03-链家二手房xpath爬虫

import requests
from lxml import etree
import csv

# 创建文件
with open('./链家.csv', 'w', encoding='utf-8', newline='') as file:
    csv.writer(file).writerow(['房屋标题', '房屋链接'])

URL = 'https://cd.lianjia.com/ershoufang/rs/'
Headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39'
}
response = requests.get(url=URL, headers=Headers)
result = response.text
# print(result)
root = etree.HTML(result)
# 先获取每一页所有的li标签
li_list = root.xpath('./body/div[@id="content"]//ul[@class="sellListContent"]/li')
# print(li_list)
# 再获取每条二手房的信息
for i in li_list:
    house_title = i.xpath('.//div[@class="title"]/a/text()')[0]
    # print(house_title)
    house_href = i.xpath('.//div[@class="title"]/a/@href')[0]
    # print(house_href)
    # 单行写入
    csv.writer(file).writerow([house_title, house_href])
print('写入完成')

其实跟前面BeautifulSoup比起来，还真是xpath舒服点，至少xpath更和我胃口哈哈。

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老树盘根_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值