Python爬取网页文本内容

湛蓝9979

于 2023-02-02 16:29:38 发布

阅读量886

点赞数

文章标签： python 爬虫开发语言

本文链接：https://blog.youkuaiyun.com/weixin_56452427/article/details/128852671

版权

本文详细介绍了如何使用Python进行网页文本内容的抓取，包括解析HTML、处理反爬策略以及数据存储等关键步骤，适合初学者入门爬虫开发。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup


def second_pro(text):
    last_sen = []
    while 1:
        last_sen.append(text.split(",")[-1])
        other_list = text.split(",")[:-1]
        # 特定位置超长，需要处理
        if len(other_list) == 1:
            last_sen.append(other_list[0].split("，")[-1])
            other_list = other_list[0].split("，")[:-1]
        if len(",".join(other_list)) < 508:
            return ",".join(other_list), last_sen
        text = ",".join(other_list[:-1])


def maching(text):
    hold_l = []
    con_text = []
    for one in text.split(","):
        hold_l.append(one)
        if len(",".join(hold_l)) > 508:
            model_text, last_sen = second_pro(",".join(hold_l))
            hold_l = []
            hold_l.append(",".join(last_sen))
            con_text.append(model_

最低0.47元/天解锁文章