python爬虫（1）——简单的爬取网页的信息

最新推荐文章于 2025-07-17 21:36:14 发布

明阿阳

最新推荐文章于 2025-07-17 21:36:14 发布

阅读量2.6w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/weixin_41389919/article/details/79246962

本文记录了使用Python爬虫获取Tatoeba网站中文句子的过程，包括使用requests和BeautifulSoup解析网页，以及处理HTTP 403错误。通过多线程优化了爬取效率，并探讨了未来学习方向：动态网页爬取和线程进程知识。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

获取网上真实的语料数据，本身对Py的掌握不是很好，记录下自己学习的过程，希望对你有帮助。

#python3

获得taoeba的语料（不知道从哪翻到的这个网站，有各国语言的句子，访问速度较慢

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup as BS
import time
import re

python3中的urllib以及 requests http://blog.youkuaiyun.com/drdairen/article/details/51149498

#对句子列表网页进行获取，得到一个list包含句子链接
def get_selist(url):
    try:
        response = requests.get(url, headers=headers) #访问所有句子列表
        soup = BS(response.text, "lxml")  #解析网页
        urls = soup.find_all(href=re.compile('.*/cmn/sentences/show/[0-9].*')) #找到所有我要的<a>标签  得到一个list  接下来提取元素的href
        sentences = [] #存href
        for i in urls:  #遍历<a>标签列表
            sentences.append(i.get('href')) #get('href')只能对标签字符串操作，刚开始我直接对urls.get()是不可以的。。。
        sentences = list(set(sentences)) #对得到的href列表去重
        return sentences  #返回链接的list
    except Exception as e:  #网页访问错误就返回空列表
        a = []
        print('获取句子列表失败  链接为'+url)
        return a

headers = {'User-Agent':'Mozilla/5.0 (Windo

最低0.47元/天解锁文章

200万优质内容无限畅学