python 爬取网页新浪新闻

最新推荐文章于 2025-03-03 18:46:31 发布

CN-LILU

最新推荐文章于 2025-03-03 18:46:31 发布

阅读量672

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/weixin_41558061/article/details/79482098

本文介绍了使用Python爬虫抓取新浪新闻的三级目录结构，包括获取DOM节点、解析链接和深入列表页的过程。通过图解详细展示了四个步骤，适合初学者学习。爬虫代码虽然简洁但可能不够美观，主要强调了解析数据和理解数据类型的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取到网页的详细三级目录导航：重点只在于获取DOM节点
初学python 代码有点难看：先贴代码再分析网页

#!/usr/bin/env python
# -*- coding:utf-8 -*-

__author__ = 'Lilu'

import os
import re
from bs4 import BeautifulSoup
from html.parser import HTMLParser
from urllib import request
import sys
import itertools
import mysql.connector
from datetime import datetime
# 这是引入自己写的JournalismText模板：用于解析正文并下载图片，然后过滤正文中的class以及style,id等敏感词汇，
sys.path.append(r'E:\Python\cocn\venv\Demo')
import JournalismText

url = 'http://news.sina.com.cn/world/'
header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,'
                      ' like Gecko) Chrome/50.0.2661.94 Safari/537.36'}
target_req = request.Request(url=url, headers=header)

target_response = request.urlopen(target_req, timeout=5)
#将网页的源码html读取出来
target_html = target_response.read().decode('utf-8', 'ignore')
#通过BeautifulSoup来解析读取出来的target_html 
soups = BeautifulSoup(target_html, 'lxml')
#解析过后就可以通过选择器进行抓取了
data = soups.select('div[class="wrap"]', limit=1)
soup = BeautifulSoup(str(data), 'lxml')
begin_flag = False
num = 0
#这里就处理爬取出来的内容了
for child in soup.div.children:
    # 滤除回车
    if child != '\n':
        begin_flag = True
        # 爬取链接并下载内容
        if begin_flag == True and child != None:
            if